Следене на GB10 машина: вграденото табло, nvidia-smi и nvitop

01Какво ще научиш

• Какво може и какво не може да се прочете от машина с обща памет (и защо nvidia-smi пише „Not Supported“).
• Как да отвориш вграденото DGX Dashboard — на самата машина и от разстояние.
• Как да ползваш nvidia-smi и nvitop за бърз поглед.
• Как да направиш малък собствен екран, който не е отворен към мрежата.
• Как да получиш предупреждение за висока температура без никакви тайни.
• Кога има смисъл от по-голям стек и какво да провериш, преди да го вдигнеш.

02Преди да започнеш

• Машина от класа NVIDIA GB10 (например ASUS Ascent GX10 или DGX Spark) с DGX OS.
• Достъп до терминала на машината — директно или по SSH.
• Python 3 с модула venv (ако липсва, инсталира се пакетът python3-venv) — нужен е за стъпки 4 и 5.
• Интернет за изтегляне на пакетите от PyPI.
• Желателно е нещо да работи на машината (например модел), за да има какво да се гледа.

03Стъпки

1. Какво показва машината и какво не

   По документацията на NVIDIA, на платформи с вградена видеокарта nvidia-smi показва в реда за памет „Memory-Usage: Not Supported“, макар че паметта по процеси се изписва. Това е очаквано, а не повреда: няма отделна видеопамет.

   Има и втора особеност. Програмният интерфейс cudaMemGetInfo може да покаже по-малко свободна памет, отколкото реално може да се отдели, защото процесорът може да освободи памет, като я премести в swap. NVIDIA препоръчва да се гледа и MemAvailable от системата. Затова за „колко памет остава на машината“ ползвай системния изглед:

   bash · на машинатакопирай

   free -h
   grep -E "MemAvailable|SwapFree" /proc/meminfo

2. Вграденото DGX Dashboard

   Защо първо то? Вече е на машината, не иска инсталиране и показва текущите показатели, обновяванията и вграден JupyterLab (по NVIDIA).

   • На самата машина: бутонът „Show Apps“ в долния ляв ъгъл на работния плот, после „DGX Dashboard“.
   • От разстояние: през NVIDIA Sync (един бутон, адресът е http://localhost:11000) или с ръчен SSH тунел:
   bash · на твоя компютъркопирай

   ssh -L 11000:localhost:11000 <потребител>@<адрес-на-машината>

   Остави връзката отворена и отвори http://localhost:11000 в браузъра си. Тунелът е „защитен коридор“: таблото остава затворено за мрежата, а ти го виждаш като локално.

   ⚠️

   Обновяванията рестартират машината

   От таблото се прилагат обновявания на пакети и фърмуер (нужни са sudo права). По ръководството на NVIDIA те водят до рестарт — запиши работата си преди това.

3. nvidia-smi: бърз поглед

   bashкопирай

   nvidia-smi
   watch -n 2 nvidia-smi
   nvidia-smi --query-gpu=utilization.gpu,temperature.gpu,power.draw --format=csv -l 2

   Първата команда прави снимка, втората я обновява на 2 секунди, третата изписва само избрани полета. ⚠️ Не сме пускали командите на GB10: някои полета могат да са празни („N/A“) заради вградената видеокарта.

4. nvitop: процесите на живо

   nvitop е терминален изглед на видеокартата и процесите ѝ, нещо като htop. Инсталираме го в отделна „кутия“ (виртуална среда), за да не пипаме системния Python:

   bashкопирай

   python3 -m venv ~/mon-venv
   . ~/mon-venv/bin/activate
   pip install nvitop
   nvitop

   Изход — q. На 03.10.2026 на PyPI е версия 1.7.1. ⚠️ Не сме го пускали на GB10; някои колони за памет може да са празни по причината от стъпка 1.

5. Малък собствен екран (по желание)

   Защо? Когато искаш да видиш няколко числа от браузъра, без да отваряш цялото табло. Скриптът чете паметта и процесора от системата, а температурата, натоварването и мощността — от NVML. Ако някое поле не се поддържа, връща null вместо да спре.

   bashкопирай

   . ~/mon-venv/bin/activate
   pip install fastapi uvicorn nvidia-ml-py psutil

   python · gx10_monitor.pyкопирай

   from fastapi import FastAPI
   from fastapi.responses import HTMLResponse
   import psutil
   import pynvml
   
   app = FastAPI()
   pynvml.nvmlInit()
   gpu = pynvml.nvmlDeviceGetHandleByIndex(0)
   
   
   def safe(fn):
       try:
           return fn()
       except pynvml.NVMLError:
           return None
   
   
   @app.get("/api/stats")
   def stats():
       mem = psutil.virtual_memory()
       power = safe(lambda: pynvml.nvmlDeviceGetPowerUsage(gpu) / 1000)
       return {
           "gpu_util_pct": safe(lambda: pynvml.nvmlDeviceGetUtilizationRates(gpu).gpu),
           "gpu_temp_c": safe(lambda: pynvml.nvmlDeviceGetTemperature(gpu, pynvml.NVML_TEMPERATURE_GPU)),
           "power_w": None if power is None else round(power, 1),
           "mem_used_gb": round((mem.total - mem.available) / 1024**3, 1),
           "mem_total_gb": round(mem.total / 1024**3, 1),
           "cpu_pct": psutil.cpu_percent(interval=0.2),
       }
   
   
   PAGE = """<!doctype html>
   <meta charset="utf-8">
   <title>Следене</title>
   <body style="font-family:monospace;padding:1rem">
   <h2>Следене на машината</h2>
   <pre id="out">зареждане…</pre>
   <script>
   async function tick() {
     const r = await fetch('/api/stats');
     const d = await r.json();
     document.getElementById('out').textContent = JSON.stringify(d, null, 2);
   }
   tick();
   setInterval(tick, 2000);
   </script>
   """
   
   
   @app.get("/", response_class=HTMLResponse)
   def page():
       return PAGE

   Стартирай го само към самата машина и го отвори през тунел:

   bashкопирай

   # на машината
   uvicorn gx10_monitor:app --host 127.0.0.1 --port 8080
   
   # на твоя компютър
   ssh -L 8080:localhost:8080 <потребител>@<адрес-на-машината>
   # после отвори http://localhost:8080

   ✅

   Никога 0.0.0.0 без защита

   Екранът няма вход с парола. Ако го вържеш към 0.0.0.0, всеки в мрежата ти го вижда. Адресът 127.0.0.1 плюс SSH тунел е правилният начин. ⚠️ Скриптът не е пускан на GB10; версиите на пакетите не са закачени тук — за постоянна употреба ги закачи.

6. Предупреждение за температура — без тайни

   Не ти трябват бот и токен. Пазач, който записва в системния дневник, е достатъчен; по-късно можеш да го свържеш със своя начин за известяване. Границата долу е примерна — задай своя по документацията на NVIDIA за твоята машина.

   bash · gpu_watch.shкопирай

   #!/usr/bin/env bash
   LIMIT=80   # °C — примерна граница, задай своя
   
   while true; do
     T=$(nvidia-smi --query-gpu=temperature.gpu --format=csv,noheader,nounits | head -n1)
     if [ "$T" -gt "$LIMIT" ] 2>/dev/null; then
       logger -t gpu-watch "Температура на видеокартата: ${T} °C (граница ${LIMIT} °C)"
     fi
     sleep 10
   done

   bashкопирай

   chmod +x gpu_watch.sh
   ./gpu_watch.sh &
   journalctl -t gpu-watch --since "10 min ago"

   ⚠️ Не е пускано. За постоянна работа го сложи като системна услуга (отделна тема).

7. По-голям стек: Prometheus, Grafana, DCGM Exporter

   Има смисъл, когато ти трябва история на показателите и графики за дълъг период. Това са три отделни програми: DCGM Exporter събира показатели от видеокартата, Prometheus ги пази, Grafana ги рисува. Версиите на 03.10.2026 по официалните им страници в GitHub:

   Програма	Последно издание
   DCGM Exporter	4.8.4 (18.09.2026)
   Prometheus	v3.15.0 (25.09.2026)
   Grafana	v13.2.3 (29.09.2026)

   ⚠️

   Не даваме готов стек

   Не сме сверили дали DCGM Exporter поддържа вградената видеокарта на GB10 и кои показатели дава там, а старият урок описваше готов панел и брой метрики без доказателство. Ако решиш да опиташ: закачи версиите, не публикувай портове към цялата мрежа (само 127.0.0.1 и тунел), а паролата на Grafana генерирай и пази в отделен файл с права 600 — никога в самия compose файл.

04Проверка

• Можеш да обясниш защо nvidia-smi пише „Memory-Usage: Not Supported“ и откъде четеш паметта.
• DGX Dashboard се отваря — на машината или през тунел.
• nvidia-smi и nvitop показват видеокартата, докато работи модел.
• Собственият екран отговаря само на 127.0.0.1 и се достига през тунел.
• В нито един файл няма парола, токен или друга тайна.

Тест

05Какво следва

06Източници

Страниците са отваряни на 03.10.2026.

1. NVIDIA: Monitor Your AI Compute with DGX Dashboard 🌐 глобален — приложението, достъпът, рискът (последна промяна по NVIDIA: 31.07.2026).
2. NVIDIA DGX Spark: DGX Dashboard — локален и отдалечен достъп, порт 11000.
3. NVIDIA DGX Spark: известни особености — „Memory-Usage: Not Supported“, обща памет, cudaMemGetInfo и swap.
4. PyPI: nvitop · PyPI: nvidia-ml-py — версии и описание.
5. GitHub: DCGM Exporter · Prometheus · Grafana — издания и дати.