AI стекът: от видеокартата до приложението
Всяка AI система — от локален чатбот до голяма система за търсене в документи — минава през едни и същи шест слоя. Който ги разбира, не „инсталира и се моли“, а диагностицира, оптимизира и мащабира. В урока: слоевете, хардуерът и квантизацията, българският модел BgGPT 3.0 и трите въпроса, които отличават архитекта от техника.
01Какво ще научиш
- Шестте слоя на AI стека и защо проблем долу се вижда навсякъде горе.
- Как да прецениш хардуер: памет на видеокартата, пропускателна способност, ток.
- Какво е квантизация и колко памет иска модел с 7, 13, 34 и 70 милиарда параметъра.
- Какво е BgGPT 3.0 и как се пуска локално.
- Три въпроса преди всеки проект и кога RAG, агент, дообучение — или изобщо не AI.
- Скрипт, който проверява стека слой по слой.
02Преди да започнеш
- Мина Част 1 на Блок 0 — какво е езиков модел и какво е токен.
- Linux машина (или WSL2) с терминал. Видеокарта NVIDIA помага, но не е задължителна — скриптът ще ти каже, ако работиш само на процесора.
- По желание: инсталиран Ollama 🔒 локално с един малък модел — за крайния тест.
03Стъпки
-
Шестте слоя — пирамида отдолу нагоре
Всеки слой зависи от този под него. Затова опитът с хардуер е голямо предимство при внедряване на AI: повечето „AI проблеми“ в работеща система всъщност са инфраструктурни.
Слой Какво прави Примери 6 · Приложение Крайният продукт — чатбот, търсене в документи, агент, автоматизиран процес. Тук е бизнес стойността. Open WebUI, AnythingLLM, n8n, собствен FastAPI, Flowise 5 · Оркестрация Логиката: как AI решава, вика инструменти, помни разговора; векторна база за документите. LangChain, LangGraph, CrewAI, LlamaIndex, Haystack · Qdrant / Chroma · RAGAS за оценка 4 · Inference сървър Зарежда модела и отговаря на заявки. Тук се решават токени/сек, закъснение и капацитет. Ollama, vLLM, llama.cpp, LM Studio, SGLang, LiteLLM (шлюз) · формати GGUF, AWQ/GPTQ, SafeTensors 3 · ML рамка / runtime Изпълнява тензорните операции на видеокартата. PyTorch 2.x, ONNX Runtime, TensorRT, ROCm (AMD), Metal (Apple) · Flash Attention, Triton 2 · Драйвер / CUDA Мостът между операционната система и видеокартата. Версията трябва да съвпада с тази, за която е компилиран PyTorch. CUDA 13.x, cuDNN 9.x, NCCL, ROCm 7.x · nvidia-smi,nvcc --version1 · Хардуер Физическата основа: памет на видеокартата (VRAM), RAM, NVMe, PCIe. Грешен хардуер прави добрия софтуер бавен. NVIDIA RTX / RTX PRO / H-серия, AMD Radeon / Instinct, Apple M-серия, NVIDIA Jetson, NVIDIA GB10 (DGX Spark) 💡Бърза диагноза по слоевеТокени/сек са ниски, а видеокартата е натоварена → тясното място е пропускателната способност на паметта. Видеокартата стои без работа → процесорът не смогва с подготовката на данните. Моделът не тръгва изобщо → проверявай отдолу нагоре: драйвер, CUDA, PyTorch.🔄ОБНОВЕНО · 01.10.2026 — версии и инструментиСтарият текст сочеше CUDA 12.x и ROCm 6.x; текущите линии са CUDA 13.x и ROCm 7.x. Hugging Face TGI е в режим на поддръжка от декември 2025 — самите Hugging Face препоръчват vLLM, SGLang или llama.cpp, затова TGI е махнат от примерите. -
Хардуер: памет, скорост, ток
Три числа решават почти всичко: колко памет има видеокартата (колко голям модел побира), колко бърза е паметта (токени в секунда) и колко ток гори (сметката за месец).
Платформа Памет Макс. модел (Q4) Мощност Подходящо за RTX 4060 Ti 16 GB 16 GB 13B 165 W Старт, малък офис RTX 4090 24 GB 34B 450 W Работна станция, МСП RTX 5090 32 GB 34B с повече контекст 575 W Мощна работна станция RTX 6000 Ada 48 GB 70B 300 W Сървър в офиса NVIDIA GB10 (DGX Spark и сродни) 128 GB обща 70B+ (до ~200B по данни на NVIDIA) ~240 W Тиха локална AI станция Apple M4 Max до 128 GB обща 70B ниска Тих офис, поверителност NVIDIA H100 SXM 80 GB 70B+ в пълна точност 700 W Корпоративен клъстер AMD MI300X 192 GB много големи модели 750 W Алтернатива на H100 NVIDIA Jetson AGX Orin 64 GB 13B до 60 W Периферия, промишленост 2× RTX 4090 2×24 GB 70B (разделен) ~900 W Старт с няколко карти ⚠️Ориентировъчно — не е премерено от насПаметта и мощността са по данни на производителите. Скоростите (токени/сек) и цените от стария урок (Q1 2026) не сме премерили наново, затова тук ги няма — провери актуална цена в EUR при доставчик преди оферта. RTX 4090 вече не се произвежда и се намира трудно.⛔ОБНОВЕНО · 01.10.2026 — поправка: RTX 4090 няма NVLinkСтарият урок пишеше „2× RTX 4090 NVLink“. Картите от серия 40 нямат NVLink. Две карти работят, но моделът се разделя между тях през PCIe — по-бавно от една карта с достатъчно памет. Поправено е и „RTX A6000 Ada“ → „RTX 6000 Ada“ (два различни продукта). Добавен е ред NVIDIA GB10.🎯Стартова конфигурация за МСПЕдна карта с 24–32 GB (RTX 4090 или 5090), 64 GB RAM, 2 TB NVMe, Ubuntu 24.04 — покрива повечето местни проекти: модели до 34B в Q4 и няколко едновременни потребители. Искаш тишина и нищо да не излиза от кабинета — машина с обща памет (Apple M-серия или NVIDIA GB10).⚡PCIe — скритото тясно мястоГолям модел (70B+) се зарежда по веригата NVMe → RAM → видеокарта. PCIe 4.0 x16 ≈ 32 GB/s, PCIe 3.0 x4 ≈ 4 GB/s — 8 пъти по-бавно. Провери сlspci -vvv | grep LnkSta. За модели над 40 GB — NVMe в PCIe 4.0 x4 слот, не SATA SSD. -
Квантизация — памет срещу качество
Квантизацията намалява точността на теглата на модела (от 16 бита до 4), така че паметта пада около 4 пъти при малка загуба на качество. Така на карта с 24 GB пускаш 34B модел вместо само 7B.
Вид Бита 7B 13B 34B 70B Формат fp16 (основа) 16 14 GB 26 GB 68 GB 140 GB SafeTensors Q8_0 8 ~7.2 GB ~13 GB ~34 GB ~72 GB GGUF Q4_K_M ★ баланс 4 ~4.1 GB ~7.9 GB ~19 GB ~41 GB GGUF Q3_K_M 3 ~3.3 GB ~6.3 GB ~15 GB ~33 GB GGUF AWQ 4 ~4 GB ~7.5 GB ~18 GB ~39 GB AWQ (vLLM) Това е размерът на самите тегла. Добави запас за контекста (KV cache) — колкото по-дълъг разговор, толкова повече. Качеството при Q8 е практически без загуба, при Q4_K_M загубата обикновено е малка, при Q3 вече се усеща.
bash · колко памет ползва видеокартата# Текущо състояние nvidia-smi # Натоварване в реално време, обновяване всяка секунда nvidia-smi dmon -s u -d 1 # Име, памет, температура, натоварване — на всеки 2 секунди nvidia-smi --query-gpu=name,memory.total,memory.used,temperature.gpu,utilization.gpu \ --format=csv -l 2 # Вижда ли PyTorch видеокартата python3 -c " import torch print(f'CUDA: {torch.cuda.is_available()}') print(f'GPU: {torch.cuda.get_device_name(0)}') print(f'VRAM: {torch.cuda.get_device_properties(0).total_memory / 1e9:.1f} GB') " # Кои модели са заредени в Ollama и колко памет държат ollama ps -
BgGPT 3.0 — отвореният модел за български
BgGPT 3.0 е на INSAIT (София), обявен на 24 март 2026. Това са три отворени модела — 4B, 12B и 27B, изградени върху Gemma 3 на Google: разбират текст и изображения, държат дълъг контекст (~131 хил. токена) и следват инструкции на български и английски значително по-добре от версия 2.0. Лицензът е условията на Gemma.
Защо е важен за нас: кирилица, правна и административна терминология, документи на НАП и НЗОК — там, където моделите, тренирани основно на английски, грешат. И понеже се пуска локално 🔒 локално, данните не излизат от машината.
🔄ОБНОВЕНО · 01.10.2026 — какво е поправено за BgGPTКомандатаollama pull bggpt3от стария урок не съществува; официалният път е GGUF файлът на Hugging Face (по-долу). Гласът (разпознаване и синтез) и търсенето в интернет са функции на чат-приложението bggpt.ai, не на отворените модели. Етикетите „GDPR compliant“ и „AI Act ready“ са махнати — съответствието зависи от това как ти внедряваш модела, не от самия модел.bash · BgGPT 3.0 (12B, Q4_K_M ≈ 7.3 GB) с Ollama# Изтегля и пуска официалния GGUF на INSAIT от Hugging Face ollama run hf.co/INSAIT-Institute/BgGPT-Gemma-3-12B-IT-GGUF:Q4_K_M # Родният API на Ollama (localhost = твоята машина) curl http://localhost:11434/api/generate -d '{ "model": "hf.co/INSAIT-Institute/BgGPT-Gemma-3-12B-IT-GGUF:Q4_K_M", "prompt": "Обобщи в три изречения: [текст]", "stream": false }' # OpenAI-съвместимият вход е отделен: http://localhost:11434/v1/chat/completionsЗадача на български Облачен модел 🌐 Общ малък локален модел 🔒 BgGPT 3.0 🔒 Правни и административни текстове добре, с насоки чести грешки в термините силна страна Поверителни данни излизат от организацията остават локално остават локално Цена за употреба плащаш на токен само ток и хардуер само ток и хардуер ⚠️Непроверено сравнениеТаблицата е качествена оценка от стария урок, не наш измерен тест. Преди да избереш модел за клиент — изпитай го на неговите документи. -
Три въпроса преди всеки проект
Техникът знае как да инсталира Ollama. Архитектът знае кога Ollama е грешният избор. Преди код — три въпроса:
1 · Нужен ли е AI изобщо? 2 · Кой подход? 3 · Локално или облак? Проблемът описан ли е с примери? RAG — има документи на организацията Чувствителни данни → локално Има ли достатъчно данни? Агент — трябват действия и инструменти Регулиран сектор (медицина, право) → локално Обикновен алгоритъм не е ли по-надежден? Дообучение — специфичен стил или домейн Прототип, проучване → облачен API Оправдава ли се разходът? Промпт — ясна, проста класификация Непредвидими пикове → облак с резервен вариант Готов ли е клиентът за грешки на AI? Комбинация — за сложни системи Без интернет → само локално -
RAG, агент, дообучение — кога кое
Най-честата грешка: дообучение за проблем, който RAG решава, или агент там, където стига добър промпт.
✍️ Промпт
Задачата е ясна и базовият модел се справя. Най-бързото решение — всяка задача минава първо оттук.
📚 RAG
Имаш документи, правилници, процедури и искаш отговор само от тях, с цитат. Знанието се обновява без преобучение.
🤖 Агент
Трябват действия: търсене, имейл, заявка към система, попълване на форма. Задача в няколко стъпки.
🎛️ Дообучение
Специфичен стил, тон или терминология, които промптът не постига. Нужни са стотици добри примери (ориентир: 500+).
🔗 RAG + агент
Агентът вика RAG, когато му трябва знание, и действа иначе. Най-честата архитектура в реална работа.
❌ Не AI
Прост запис/четене, детерминистична логика (данъчни сметки!), критична безопасност без човешки надзор, под ~50 примера. Понякога регулярен израз е по-добрият отговор.
🔑Рамката в действие — типови случаиСоциална услуга: RAG (досиета) + агент (попълва формуляри) + BgGPT 3.0 локално.
ESG консултант: RAG (регулации и измервания) + агент (генерира PDF доклад).
Счетоводство: агент (вади данни от PDF фактури) + промпт (осчетоводяване по сметки).
Медицинска практика: RAG (протоколи) + дообучение (медицинска терминология на български) + предпазни правила. -
Практика: провери стека слой по слой
Преди всяко внедряване потвърди, че всеки слой работи. Запиши скрипта като
check_stack.sh, направи го изпълним (chmod +x check_stack.sh) и го пусни. Ще го ползваме и в лабораторията (Част 3).bash · check_stack.sh#!/bin/bash # AI Stack Diagnostic · Академия КАГАМИ # Проверява слоевете отдолу нагоре MODEL="${MODEL:-llama3.2}" # модел за крайния тест; смени с наличен при теб status() { [ "$2" == "OK" ] && echo "✅ $1" || echo "❌ $1 — $2"; } echo "══ СЛОЙ 1: ХАРДУЕР ══" if nvidia-smi &>/dev/null; then GPU=$(nvidia-smi --query-gpu=name --format=csv,noheader | head -1) VRAM=$(nvidia-smi --query-gpu=memory.total --format=csv,noheader | head -1) status "GPU: $GPU | VRAM: $VRAM" "OK" else status "NVIDIA GPU" "не е намерена — работим на процесора" fi echo "══ СЛОЙ 2: CUDA ══" CUDA_VER=$(nvcc --version 2>/dev/null | grep "release" | awk '{print $6}') [ -n "$CUDA_VER" ] && status "CUDA: $CUDA_VER" "OK" || status "CUDA toolkit" "не е инсталиран" echo "══ СЛОЙ 3: RUNTIME ══" python3 -c "import torch; print(f'PyTorch {torch.__version__} | CUDA: {torch.cuda.is_available()}')" 2>/dev/null \ && status "PyTorch" "OK" || status "PyTorch" "не е инсталиран" echo "══ СЛОЙ 4: INFERENCE СЪРВЪР ══" if curl -s http://localhost:11434/api/tags &>/dev/null; then N=$(ollama list 2>/dev/null | tail -n +2 | wc -l) status "Ollama работи | модели: $N" "OK" else status "Ollama" "не работи — стартирай: ollama serve" fi echo "══ СЛОЙ 5: ОРКЕСТРАЦИЯ ══" python3 -c "import langchain; print(f'LangChain {langchain.__version__}')" 2>/dev/null \ && status "LangChain" "OK" || status "LangChain" "pip install langchain" echo "══ ТЕСТ ОТ ИЗБОР ДО ОТГОВОР ══" R=$(curl -s http://localhost:11434/api/generate \ -d "{\"model\":\"$MODEL\",\"prompt\":\"Отговори с едно изречение: какво е AI?\",\"stream\":false}" \ | python3 -c "import sys,json; print(json.load(sys.stdin).get('response',''))" 2>/dev/null) [ -n "$R" ] && status "Отговор: $R" "OK" || status "Краен тест" "провален — провери Ollama и модела"👤Защо отдолу нагореАко слой 2 е червен, няма смисъл да гониш грешка в слой 5. Скриптът показва първия счупен слой — оттам почваш. Моделът за крайния тест се сменя сMODEL=<твоят-модел> ./check_stack.sh.
04Проверка
1. Медицинска практика иска AI, който попълва документи от диктовка на лекаря. Кой стек е правилен?
2. Клиент иска при получена фактура автоматично да тръгва имейл. Кой подход е най-подходящ?
3. Карта с 24 GB. Кой е най-големият модел в Q4_K_M, който пуснаш удобно?
4. torch.cuda.is_available() връща False, а nvidia-smi вижда картата. Къде търсиш?
05Какво следва
06Източници
- BgGPT 3.0 — обявяване (INSAIT, 24.03.2026) — размери, Gemma 3, изображения, контекст.
- BgGPT-Gemma-3-12B-IT-GGUF — файловете, размерите и командата за Ollama.
- INSAIT в Hugging Face — всички версии на BgGPT.
- Hugging Face TGI — бележката за режим на поддръжка.
- NVIDIA CUDA Toolkit — инсталатор; винаги сверявай с версията на PyTorch.
- PyTorch — локална инсталация — точната команда за твоята CUDA.
- vLLM — бърз старт — OpenAI-съвместим сървър.
- llama.cpp — двигателят за GGUF (хранилището е преместено в ggml-org).
- Ollama — библиотека с модели · OpenAI-съвместим вход.
- Open WebUI — уеб интерфейс за локални модели.
- NVIDIA DGX Spark (GB10) — 128 GB обща памет.
- TechPowerUp GPU Database — памет, пропускателна способност, мощност на видеокартите.