NeMo на GX10: фина настройка на модели с AutoModel

01Какво ще научиш

• Кое какво е в NeMo днес и защо старите ръководства объркват.
• Как да пуснеш контейнера NeMo AutoModel на GX10 и да запазиш резултата.
• Как да пуснеш LoRA, QLoRA и пълна настройка с готовите рецепти.
• Кое се побира в 128 GB обща памет и кое не.
• Как да подхождаш към свои данни и лицензи.

02Преди да започнеш

• Машина NVIDIA GB10 с DGX OS (плейбукът е за DGX Spark: 128 GB обща памет), Docker и достъп до нея по SSH или директно.
• Поне 32 GB системна памет за зареждане и обучение; CUDA 12.0+, Python 3.10+ и Git на машината (плейбукът ги проверява с nvcc, python3, git).
• Профил в Hugging Face и токен за достъп — нужен е за модели с ограничен достъп (Llama, например).
• Интернет и място на диска: образът и моделите са по няколко гигабайта и повече. Плейбукът дава 45–90 минути за настройка и първо пускане и ниво на риск „средно“.

03Стъпки

1. Проверка на системата

   Пет бързи проверки преди изтегляне: CUDA, Python, видеокарта, памет, Docker.

   bash · на машинатакопирай

   nvcc --version
   python3 --version
   nvidia-smi
   free -h
   docker ps

   Ако docker ps казва „permission denied“, добави потребителя си към групата docker по указанията на NVIDIA или пиши sudo пред командите. На GB10 редът за памет в nvidia-smi може да казва „Not Supported“ — паметта е обща.

2. Изтегли образа и пусни контейнера

   Закачаме версията на образа — 26.02 е тази в плейбука към 03.10.2026; по-нов таг провери в каталога NGC на NVIDIA. Флагът --rm изтрива контейнера при изход, а с него — и всичко, записано вътре. Затова добавяме папка от машината за резултатите (това е наше допълнение към плейбука):

   bashкопирай

   docker pull nvcr.io/nvidia/nemo-automodel:26.02
   
   mkdir -p ~/nemo-out
   docker run \
     --gpus all \
     --ulimit memlock=-1 \
     -it --ulimit stack=67108864 \
     -v ~/nemo-out:/out \
     --entrypoint /usr/bin/bash \
     --rm nvcr.io/nvidia/nemo-automodel:26.02

   Вътре виж готовите рецепти: cd /opt/Automodel && ls examples/llm_finetune/. Не е пускано от нас.

3. Достъп до модели от Hugging Face

   За модели с ограничен достъп нужни са две неща от един и същи профил: приет лиценз на страницата на модела (и одобрение) и токен. Самото задаване на токена не дава достъп.

   bashкопирай

   export HF_TOKEN=<твоят-токен>

   Токенът е тайна: не го записвай в скриптове, чат или хранилище и не го показвай на снимки на екрана.

4. Първа настройка с LoRA

   LoRA променя малка добавка към модела, не всичките му тегла — затова иска много по-малко памет. Командата от плейбука взема рецептата за малък модел и подменя модела с Llama-3.1-8B; max_steps 20 е само проба:

   bash · /opt/Automodelкопирай

   python3 examples/llm_finetune/finetune.py \
     -c examples/llm_finetune/llama3_2/llama3_2_1b_squad_peft.yaml \
     --model.pretrained_model_name_or_path meta-llama/Llama-3.1-8B \
     --packed_sequence.packed_sequence_size 1024 \
     --step_scheduler.max_steps 20

   Параметрите с -- подменят стойностите от YAML рецептата; хиперпараметрите (ранг на LoRA, скорост на учене) идват от рецептата. Данните в рецептата са публичен учебен набор, не твои.

5. QLoRA за голям модел и пълна настройка

   QLoRA държи теглата на модела в 4 бита и настройва малка добавка. Плейбукът показва командата за 70B модел; пълната настройка (SFT) променя всички тегла и е показана за по-малък модел (Qwen3-8B). И двете са проба с 20 стъпки:

   bash · QLoRAкопирай

   python3 examples/llm_finetune/finetune.py \
     -c examples/llm_finetune/llama3_1/llama3_1_8b_squad_qlora.yaml \
     --model.pretrained_model_name_or_path meta-llama/Meta-Llama-3-70B \
     --loss_fn._target_ nemo_automodel.components.loss.te_parallel_ce.TEParallelCrossEntropy \
     --step_scheduler.local_batch_size 1 \
     --packed_sequence.packed_sequence_size 1024 \
     --step_scheduler.max_steps 20

   bash · пълна настройкакопирай

   python3 examples/llm_finetune/finetune.py \
     -c examples/llm_finetune/qwen/qwen3_8b_squad_spark.yaml \
     --model.pretrained_model_name_or_path Qwen/Qwen3-8B \
     --step_scheduler.local_batch_size 1 \
     --step_scheduler.max_steps 20 \
     --packed_sequence.packed_sequence_size 1024

   💡

   Сметка за паметта (само теглата, приблизително)

   70 милиарда параметъра × 2 байта (BF16) = около 140 GB — повече от 128 GB обща памет, така че пълна настройка или BF16 на 70B не се побира. В 4 бита (× 0,5 байта) теглата са около 35 GB, затова при QLoRA остава място за добавката, оптимизатора и данните. 8B модел е около 16 GB в BF16. Това е груба оценка: не включва активации, кеш и системата; реалната памет и времето не сме мерили.

6. Провери резултата и го запази

   След успешно пускане в папката checkpoints/LATEST/ трябва да има файл config.yaml и папки като model, optim, dataloader и rng (по плейбука). Копирай ги към споделената папка, преди да излезеш от контейнера:

   bash · /opt/Automodelкопирай

   ls -lah checkpoints/LATEST/
   cp -r checkpoints /out/

7. Твои данни, лицензи и оценка

   Форматът на собствен набор и как се задава в рецепта е описан в хранилището на NeMo AutoModel — ние не го сверихме (⚠️), затова не даваме готов пример. Общите правила са:

   • Разделяй данните на обучаващи и проверочни; измервай на непокритите данни.
   • Не настройвай модел с лични данни, договори или поверителни документи без правно основание и защита; настроеният модел може да „запомни“ части от тях.
   • Провери лиценза на базовия модел: дали позволява настройка и търговско ползване.
   • Настроен модел се проверява с примери от реалната задача, а не само със загубата по време на обучение.
   • DPO и други методи с предпочитания: виж ръководствата в документацията на NeMo RL. Не сме ги пускали.

8. Почистване

   Контейнерът се изтрива при изход. Образът заема място на диска; ако не ти трябва повече, махни го (после ще го теглиш отново):

   bashкопирай

   docker rmi nvcr.io/nvidia/nemo-automodel:26.02

04Проверка

• Контейнерът nemo-automodel:26.02 тръгва и вижда видеокартата.
• Пробното пускане с LoRA минава 20 стъпки без грешка.
• checkpoints/LATEST/ съдържа config.yaml и папката model.
• Резултатът е копиран извън контейнера.
• Токенът за Hugging Face не е записан никъде в кода.

Тест

05Какво следва

06Източници

1. NVIDIA DGX Spark: Fine-Tune with NVIDIA NeMo — плейбукът, изискванията и рецептите (обновен 31.07.2026). · инструкции — командите от стъпките.
2. NeMo AutoModel в GitHub — рецепти и изходен код. · документация — на NeMo AutoModel.
3. NeMo Framework: преглед — състав, речеви модели, лицензи, насочване към Megatron-Bridge от 26.02.
4. NeMo RL — ръководства за DPO и GRPO (не пускани от нас).