Знакът на КАГАМИ КАГАМИ
kagami.bg/academy · lesson · machine-readable viewVERIFIED 2026-10-01 · UPDATED 2026-10-01
IDENTITY
module
01-00b · The AI stack, from the GPU to the application
series
KAGAMI Academy · Blocks · Block 0 — AI fundamentals · part 2 of 3
level
Beginner → Intermediate
duration
~3 h
trust_label
VERIFIED 2026-10-01 (sources, BgGPT 3.0 facts, commands vs official docs) · UPDATED 2026-10-01 (BgGPT 3.0, CUDA 13 / ROCm 7, TGI maintenance, NVLink, DGX Spark row) · hardware speeds and prices NOT re-measured
language
human view: bg · english edition: /en/academy/blokove/moduli/01-00b_Блок_0_Част_2_AI_Стек.html
prev
01-00a · LLMs and tokenisation
next
01-00c · Lab: full environment + first live LLM
PURPOSE

Give a mental model of every AI system as six dependent layers (hardware → driver/CUDA → ML runtime → inference server → orchestration → application), so faults are diagnosed by layer; size hardware via quantization; know the Bulgarian open model BgGPT 3.0; decide between prompt, RAG, agent and fine-tuning — and when not to use AI at all.

KEY CONCEPTS
COMMANDS / PATHS
CHECKLIST
NEXT MODULE

01-00c · Lab: full environment + first live LLM · offer: Quick experiment (kagami.bg/stalbata/)

SOURCES
TAGS
ai-stackgpucudaquantizationollamavllmbggptragagentsfine-tuning
ПРОВЕРЕНО · 01.10.2026 ОБНОВЕНО · 01.10.2026

AI стекът: от видеокартата до приложението

Всяка AI система — от локален чатбот до голяма система за търсене в документи — минава през едни и същи шест слоя. Който ги разбира, не „инсталира и се моли“, а диагностицира, оптимизира и мащабира. В урока: слоевете, хардуерът и квантизацията, българският модел BgGPT 3.0 и трите въпроса, които отличават архитекта от техника.

⏱ ~3 часа Начално → Средно Блок 0 · AI основи хардуер · квантизация · решение
Ollama🔒 локално vLLM · llama.cpp🔒 локално BgGPT 3.0🔒 локално Облачни API (GPT, Gemini…)🌐 глобален модел

01Какво ще научиш

02Преди да започнеш

03Стъпки

  1. Шестте слоя — пирамида отдолу нагоре

    Всеки слой зависи от този под него. Затова опитът с хардуер е голямо предимство при внедряване на AI: повечето „AI проблеми“ в работеща система всъщност са инфраструктурни.

    СлойКакво правиПримери
    6 · ПриложениеКрайният продукт — чатбот, търсене в документи, агент, автоматизиран процес. Тук е бизнес стойността.Open WebUI, AnythingLLM, n8n, собствен FastAPI, Flowise
    5 · ОркестрацияЛогиката: как AI решава, вика инструменти, помни разговора; векторна база за документите.LangChain, LangGraph, CrewAI, LlamaIndex, Haystack · Qdrant / Chroma · RAGAS за оценка
    4 · Inference сървърЗарежда модела и отговаря на заявки. Тук се решават токени/сек, закъснение и капацитет.Ollama, vLLM, llama.cpp, LM Studio, SGLang, LiteLLM (шлюз) · формати GGUF, AWQ/GPTQ, SafeTensors
    3 · ML рамка / runtimeИзпълнява тензорните операции на видеокартата.PyTorch 2.x, ONNX Runtime, TensorRT, ROCm (AMD), Metal (Apple) · Flash Attention, Triton
    2 · Драйвер / CUDAМостът между операционната система и видеокартата. Версията трябва да съвпада с тази, за която е компилиран PyTorch.CUDA 13.x, cuDNN 9.x, NCCL, ROCm 7.x · nvidia-smi, nvcc --version
    1 · ХардуерФизическата основа: памет на видеокартата (VRAM), RAM, NVMe, PCIe. Грешен хардуер прави добрия софтуер бавен.NVIDIA RTX / RTX PRO / H-серия, AMD Radeon / Instinct, Apple M-серия, NVIDIA Jetson, NVIDIA GB10 (DGX Spark)
    💡
    Бърза диагноза по слоеве
    Токени/сек са ниски, а видеокартата е натоварена → тясното място е пропускателната способност на паметта. Видеокартата стои без работа → процесорът не смогва с подготовката на данните. Моделът не тръгва изобщо → проверявай отдолу нагоре: драйвер, CUDA, PyTorch.
    🔄
    ОБНОВЕНО · 01.10.2026 — версии и инструменти
    Старият текст сочеше CUDA 12.x и ROCm 6.x; текущите линии са CUDA 13.x и ROCm 7.x. Hugging Face TGI е в режим на поддръжка от декември 2025 — самите Hugging Face препоръчват vLLM, SGLang или llama.cpp, затова TGI е махнат от примерите.
  2. Хардуер: памет, скорост, ток

    Три числа решават почти всичко: колко памет има видеокартата (колко голям модел побира), колко бърза е паметта (токени в секунда) и колко ток гори (сметката за месец).

    ПлатформаПаметМакс. модел (Q4)МощностПодходящо за
    RTX 4060 Ti 16 GB16 GB13B165 WСтарт, малък офис
    RTX 409024 GB34B450 WРаботна станция, МСП
    RTX 509032 GB34B с повече контекст575 WМощна работна станция
    RTX 6000 Ada48 GB70B300 WСървър в офиса
    NVIDIA GB10 (DGX Spark и сродни)128 GB обща70B+ (до ~200B по данни на NVIDIA)~240 WТиха локална AI станция
    Apple M4 Maxдо 128 GB обща70BнискаТих офис, поверителност
    NVIDIA H100 SXM80 GB70B+ в пълна точност700 WКорпоративен клъстер
    AMD MI300X192 GBмного големи модели750 WАлтернатива на H100
    NVIDIA Jetson AGX Orin64 GB13Bдо 60 WПериферия, промишленост
    2× RTX 40902×24 GB70B (разделен)~900 WСтарт с няколко карти
    ⚠️
    Ориентировъчно — не е премерено от нас
    Паметта и мощността са по данни на производителите. Скоростите (токени/сек) и цените от стария урок (Q1 2026) не сме премерили наново, затова тук ги няма — провери актуална цена в EUR при доставчик преди оферта. RTX 4090 вече не се произвежда и се намира трудно.
    ⛔
    ОБНОВЕНО · 01.10.2026 — поправка: RTX 4090 няма NVLink
    Старият урок пишеше „2× RTX 4090 NVLink“. Картите от серия 40 нямат NVLink. Две карти работят, но моделът се разделя между тях през PCIe — по-бавно от една карта с достатъчно памет. Поправено е и „RTX A6000 Ada“ → „RTX 6000 Ada“ (два различни продукта). Добавен е ред NVIDIA GB10.
    🎯
    Стартова конфигурация за МСП
    Една карта с 24–32 GB (RTX 4090 или 5090), 64 GB RAM, 2 TB NVMe, Ubuntu 24.04 — покрива повечето местни проекти: модели до 34B в Q4 и няколко едновременни потребители. Искаш тишина и нищо да не излиза от кабинета — машина с обща памет (Apple M-серия или NVIDIA GB10).
    ⚡
    PCIe — скритото тясно място
    Голям модел (70B+) се зарежда по веригата NVMe → RAM → видеокарта. PCIe 4.0 x16 ≈ 32 GB/s, PCIe 3.0 x4 ≈ 4 GB/s — 8 пъти по-бавно. Провери с lspci -vvv | grep LnkSta. За модели над 40 GB — NVMe в PCIe 4.0 x4 слот, не SATA SSD.
  3. Квантизация — памет срещу качество

    Квантизацията намалява точността на теглата на модела (от 16 бита до 4), така че паметта пада около 4 пъти при малка загуба на качество. Така на карта с 24 GB пускаш 34B модел вместо само 7B.

    ВидБита7B13B34B70BФормат
    fp16 (основа)1614 GB26 GB68 GB140 GBSafeTensors
    Q8_08~7.2 GB~13 GB~34 GB~72 GBGGUF
    Q4_K_M ★ баланс4~4.1 GB~7.9 GB~19 GB~41 GBGGUF
    Q3_K_M3~3.3 GB~6.3 GB~15 GB~33 GBGGUF
    AWQ4~4 GB~7.5 GB~18 GB~39 GBAWQ (vLLM)

    Това е размерът на самите тегла. Добави запас за контекста (KV cache) — колкото по-дълъг разговор, толкова повече. Качеството при Q8 е практически без загуба, при Q4_K_M загубата обикновено е малка, при Q3 вече се усеща.

    bash · колко памет ползва видеокартата
    # Текущо състояние
    nvidia-smi
    
    # Натоварване в реално време, обновяване всяка секунда
    nvidia-smi dmon -s u -d 1
    
    # Име, памет, температура, натоварване — на всеки 2 секунди
    nvidia-smi --query-gpu=name,memory.total,memory.used,temperature.gpu,utilization.gpu \
               --format=csv -l 2
    
    # Вижда ли PyTorch видеокартата
    python3 -c "
    import torch
    print(f'CUDA: {torch.cuda.is_available()}')
    print(f'GPU: {torch.cuda.get_device_name(0)}')
    print(f'VRAM: {torch.cuda.get_device_properties(0).total_memory / 1e9:.1f} GB')
    "
    
    # Кои модели са заредени в Ollama и колко памет държат
    ollama ps
  4. BgGPT 3.0 — отвореният модел за български

    BgGPT 3.0 е на INSAIT (София), обявен на 24 март 2026. Това са три отворени модела — 4B, 12B и 27B, изградени върху Gemma 3 на Google: разбират текст и изображения, държат дълъг контекст (~131 хил. токена) и следват инструкции на български и английски значително по-добре от версия 2.0. Лицензът е условията на Gemma.

    Защо е важен за нас: кирилица, правна и административна терминология, документи на НАП и НЗОК — там, където моделите, тренирани основно на английски, грешат. И понеже се пуска локално 🔒 локално, данните не излизат от машината.

    🔄
    ОБНОВЕНО · 01.10.2026 — какво е поправено за BgGPT
    Командата ollama pull bggpt3 от стария урок не съществува; официалният път е GGUF файлът на Hugging Face (по-долу). Гласът (разпознаване и синтез) и търсенето в интернет са функции на чат-приложението bggpt.ai, не на отворените модели. Етикетите „GDPR compliant“ и „AI Act ready“ са махнати — съответствието зависи от това как ти внедряваш модела, не от самия модел.
    bash · BgGPT 3.0 (12B, Q4_K_M ≈ 7.3 GB) с Ollama
    # Изтегля и пуска официалния GGUF на INSAIT от Hugging Face
    ollama run hf.co/INSAIT-Institute/BgGPT-Gemma-3-12B-IT-GGUF:Q4_K_M
    
    # Родният API на Ollama (localhost = твоята машина)
    curl http://localhost:11434/api/generate -d '{
      "model": "hf.co/INSAIT-Institute/BgGPT-Gemma-3-12B-IT-GGUF:Q4_K_M",
      "prompt": "Обобщи в три изречения: [текст]",
      "stream": false
    }'
    
    # OpenAI-съвместимият вход е отделен: http://localhost:11434/v1/chat/completions
    Задача на българскиОблачен модел 🌐Общ малък локален модел 🔒BgGPT 3.0 🔒
    Правни и административни текстоведобре, с насокичести грешки в терминитесилна страна
    Поверителни данниизлизат от организациятаостават локалноостават локално
    Цена за употребаплащаш на токенсамо ток и хардуерсамо ток и хардуер
    ⚠️
    Непроверено сравнение
    Таблицата е качествена оценка от стария урок, не наш измерен тест. Преди да избереш модел за клиент — изпитай го на неговите документи.
  5. Три въпроса преди всеки проект

    Техникът знае как да инсталира Ollama. Архитектът знае кога Ollama е грешният избор. Преди код — три въпроса:

    1 · Нужен ли е AI изобщо?2 · Кой подход?3 · Локално или облак?
    Проблемът описан ли е с примери?RAG — има документи на организациятаЧувствителни данни → локално
    Има ли достатъчно данни?Агент — трябват действия и инструментиРегулиран сектор (медицина, право) → локално
    Обикновен алгоритъм не е ли по-надежден?Дообучение — специфичен стил или домейнПрототип, проучване → облачен API
    Оправдава ли се разходът?Промпт — ясна, проста класификацияНепредвидими пикове → облак с резервен вариант
    Готов ли е клиентът за грешки на AI?Комбинация — за сложни системиБез интернет → само локално
  6. RAG, агент, дообучение — кога кое

    Най-честата грешка: дообучение за проблем, който RAG решава, или агент там, където стига добър промпт.

    ✍️ Промпт

    Задачата е ясна и базовият модел се справя. Най-бързото решение — всяка задача минава първо оттук.

    📚 RAG

    Имаш документи, правилници, процедури и искаш отговор само от тях, с цитат. Знанието се обновява без преобучение.

    🤖 Агент

    Трябват действия: търсене, имейл, заявка към система, попълване на форма. Задача в няколко стъпки.

    🎛️ Дообучение

    Специфичен стил, тон или терминология, които промптът не постига. Нужни са стотици добри примери (ориентир: 500+).

    🔗 RAG + агент

    Агентът вика RAG, когато му трябва знание, и действа иначе. Най-честата архитектура в реална работа.

    ❌ Не AI

    Прост запис/четене, детерминистична логика (данъчни сметки!), критична безопасност без човешки надзор, под ~50 примера. Понякога регулярен израз е по-добрият отговор.

    🔑
    Рамката в действие — типови случаи
    Социална услуга: RAG (досиета) + агент (попълва формуляри) + BgGPT 3.0 локално.
    ESG консултант: RAG (регулации и измервания) + агент (генерира PDF доклад).
    Счетоводство: агент (вади данни от PDF фактури) + промпт (осчетоводяване по сметки).
    Медицинска практика: RAG (протоколи) + дообучение (медицинска терминология на български) + предпазни правила.
  7. Практика: провери стека слой по слой

    Преди всяко внедряване потвърди, че всеки слой работи. Запиши скрипта като check_stack.sh, направи го изпълним (chmod +x check_stack.sh) и го пусни. Ще го ползваме и в лабораторията (Част 3).

    bash · check_stack.sh
    #!/bin/bash
    # AI Stack Diagnostic · Академия КАГАМИ
    # Проверява слоевете отдолу нагоре
    MODEL="${MODEL:-llama3.2}"   # модел за крайния тест; смени с наличен при теб
    
    status() { [ "$2" == "OK" ] && echo "✅ $1" || echo "❌ $1 — $2"; }
    
    echo "══ СЛОЙ 1: ХАРДУЕР ══"
    if nvidia-smi &>/dev/null; then
      GPU=$(nvidia-smi --query-gpu=name --format=csv,noheader | head -1)
      VRAM=$(nvidia-smi --query-gpu=memory.total --format=csv,noheader | head -1)
      status "GPU: $GPU | VRAM: $VRAM" "OK"
    else
      status "NVIDIA GPU" "не е намерена — работим на процесора"
    fi
    
    echo "══ СЛОЙ 2: CUDA ══"
    CUDA_VER=$(nvcc --version 2>/dev/null | grep "release" | awk '{print $6}')
    [ -n "$CUDA_VER" ] && status "CUDA: $CUDA_VER" "OK" || status "CUDA toolkit" "не е инсталиран"
    
    echo "══ СЛОЙ 3: RUNTIME ══"
    python3 -c "import torch; print(f'PyTorch {torch.__version__} | CUDA: {torch.cuda.is_available()}')" 2>/dev/null \
      && status "PyTorch" "OK" || status "PyTorch" "не е инсталиран"
    
    echo "══ СЛОЙ 4: INFERENCE СЪРВЪР ══"
    if curl -s http://localhost:11434/api/tags &>/dev/null; then
      N=$(ollama list 2>/dev/null | tail -n +2 | wc -l)
      status "Ollama работи | модели: $N" "OK"
    else
      status "Ollama" "не работи — стартирай: ollama serve"
    fi
    
    echo "══ СЛОЙ 5: ОРКЕСТРАЦИЯ ══"
    python3 -c "import langchain; print(f'LangChain {langchain.__version__}')" 2>/dev/null \
      && status "LangChain" "OK" || status "LangChain" "pip install langchain"
    
    echo "══ ТЕСТ ОТ ИЗБОР ДО ОТГОВОР ══"
    R=$(curl -s http://localhost:11434/api/generate \
      -d "{\"model\":\"$MODEL\",\"prompt\":\"Отговори с едно изречение: какво е AI?\",\"stream\":false}" \
      | python3 -c "import sys,json; print(json.load(sys.stdin).get('response',''))" 2>/dev/null)
    [ -n "$R" ] && status "Отговор: $R" "OK" || status "Краен тест" "провален — провери Ollama и модела"
    👤
    Защо отдолу нагоре
    Ако слой 2 е червен, няма смисъл да гониш грешка в слой 5. Скриптът показва първия счупен слой — оттам почваш. Моделът за крайния тест се сменя с MODEL=<твоят-модел> ./check_stack.sh.

04Проверка

1. Медицинска практика иска AI, който попълва документи от диктовка на лекаря. Кой стек е правилен?

2. Клиент иска при получена фактура автоматично да тръгва имейл. Кой подход е най-подходящ?

3. Карта с 24 GB. Кой е най-големият модел в Q4_K_M, който пуснаш удобно?

4. torch.cuda.is_available() връща False, а nvidia-smi вижда картата. Къде търсиш?

05Какво следва

06Източници

  1. BgGPT 3.0 — обявяване (INSAIT, 24.03.2026) — размери, Gemma 3, изображения, контекст.
  2. BgGPT-Gemma-3-12B-IT-GGUF — файловете, размерите и командата за Ollama.
  3. INSAIT в Hugging Face — всички версии на BgGPT.
  4. Hugging Face TGI — бележката за режим на поддръжка.
  5. NVIDIA CUDA Toolkit — инсталатор; винаги сверявай с версията на PyTorch.
  6. PyTorch — локална инсталация — точната команда за твоята CUDA.
  7. vLLM — бърз старт — OpenAI-съвместим сървър.
  8. llama.cpp — двигателят за GGUF (хранилището е преместено в ggml-org).
  9. Ollama — библиотека с модели · OpenAI-съвместим вход.
  10. Open WebUI — уеб интерфейс за локални модели.
  11. NVIDIA DGX Spark (GB10) — 128 GB обща памет.
  12. TechPowerUp GPU Database — памет, пропускателна способност, мощност на видеокартите.