Audio2Face-3D на GX10: лицева анимация по глас

01Какво ще научиш

• Какво получава и какво връща Audio2Face-3D: аудио вход, анимация на лицето на изход.
• Как се стартира контейнерът по документацията и как се избира профил според графичния процесор.
• Как да провериш, че услугата е готова, и да пуснеш примерния клиент.
• Какви са лицензите на отделните части и какво не е позволено (разпознаване на емоции).
• Защо говорещото лице трябва да казва, че е ИИ, и кога е нужно писмено съгласие.
• Как да измериш собствените си числа, вместо да вярваш на чужди.

02Преди да започнеш

• Машина с графичен процесор на NVIDIA, Docker и NVIDIA Container Toolkit. Не сме проверявали всичко това на GB10.
• Личен ключ за NGC (каталога на NVIDIA), създаден на страницата за ключове в акаунта ти. Ключът е тайна: не го записвай в файл, който споделяш.
• Python 3 с venv и Git за примерния клиент.
• Кратък звукозапис във формат WAV: 16 kHz, 16 бита, един канал (това показва примерният клиент в изхода си).
• Свободно място за образа и моделите. Колко точно, не твърдим: документацията не го дава в частите, които прочетохме.

Какво казва документацията (към 03.10.2026)

Лицензи (по официалните страници, 03.10.2026)

03Стъпки

1. Правила, преди да има лице

   • Казваме, че е ИИ. Чл. 50, пар. 1 на Регламент (ЕС) 2024/1689: системите, предназначени да взаимодействат пряко с хора, се проектират така, че засегнатите да са информирани, че имат работа със система с ИИ, освен ако е очевидно. Говорещо лице на екран в зала не е очевидно за всеки посетител: сложи ясен надпис.
   • Не имитираме реален човек. Чл. 50, пар. 4 изисква оповестяване при дийпфейк съдържание. Лице и глас на истински човек се ползват само с негово писмено съгласие и с оповестяване. Дали си „доставчик“ или „ползвател“ по смисъла на Регламента, е правен въпрос.
   • Не четем емоции. Виж забраната в „Преди да започнеш“.

   Текстът е от EUR-Lex както е публикуван; по чл. 113 Регламентът се прилага от 2 август 2026 г., с изброените там изключения. Не сме проверявали за по-късни изменения.

2. Влез в каталога на NVIDIA

   bashкопирай

   export NGC_API_KEY=<твоят-ключ>
   echo "$NGC_API_KEY" | docker login nvcr.io --username '$oauthtoken' --password-stdin

   Потребителското име $oauthtoken е буквално така: то казва, че влизаш с ключ, а не с парола. Командата е по документацията и не е пускана от нас.

3. Стартирай контейнера

   Първо виж кои профили съществуват, после стартирай с автоматичен избор:

   bashкопирай

   docker run -it --rm --network=host --gpus all \
     --entrypoint nim_list_model_profiles \
     nvcr.io/nim/nvidia/audio2face-3d:2.0
   
   docker run -it --rm --network=host --gpus all \
     -e NGC_API_KEY=$NGC_API_KEY \
     nvcr.io/nim/nvidia/audio2face-3d:2.0

   • Профилът трябва да съвпада с картата. Всеки профил съдържа двигатели (TensorRT), изградени за конкретен вид карта. Чужд профил се сваля, но не работи.
   • Автоматичният избор винаги сваля „james“. За друг персонаж задаваш профил с NIM_MANIFEST_PROFILE по таблицата в документацията.
   • Няма готов профил? Документацията описва локално изграждане на двигателите с NIM_DISABLE_MODEL_DOWNLOAD=true и PERF_A2F_MODEL; първото пускане отнема няколко минути. За GB10 не знаем дали това върви.
   • Грешно име на модел се прощава мълчаливо: контейнерът се връща към „james_v2.3.1“. Прочети в записите кой модел е зареден.

   Не сме пускали тези команди.

4. Провери, че услугата е готова

   bashкопирай

   curl -s http://localhost:8000/v1/health/ready

   Документацията показва отговор със състояние „ready“. Има и /v1/health/live, /v1/metrics и /v1/version.

5. Пусни примерния клиент

   bashкопирай

   git clone https://github.com/NVIDIA/Audio2Face-3D-Samples.git
   cd Audio2Face-3D-Samples
   git checkout tags/v2.0
   cd scripts/audio2face_3d_microservices_interaction_app
   python3 -m venv .venv
   source .venv/bin/activate
   pip3 install ../../proto/sample_wheel/nvidia_ace-1.2.0-py3-none-any.whl
   pip3 install -r requirements.txt
   
   python3 a2f_3d.py health_check --url 0.0.0.0:52000
   python3 a2f_3d.py run_inference ../../example_audio/Mark_neutral.wav config/config_james.yml -u 0.0.0.0:52000

   При успех клиентът пише състояние SUCCESS и записва папка с резултата. Според документацията в нея има: animation_frames.csv (движенията на лицето), out.wav (получения звук), a2f_3d_input_emotions.csv и a2f_3d_smoothed_emotion_output.csv (емоциите: подадените и изгладените във времето). Командите са по документацията и не са пускани от нас.

6. Със собствен звук и с двигател за лица

   • Подай собствен WAV (16 kHz, 16 бита, един канал). При лош звук лицето може да се движи неточно: това е известно ограничение на модела.
   • Хранилището съдържа и приставки за програми за 3D (в таблицата с лицензите са Maya и Unreal). Не сме ги пускали и не даваме стъпки; започни от официалното хранилище.
   • Не записвай звука на посетители и не пази данните без ясна цел и правно основание: гласът на човек е лични данни.

7. Измери собствените си числа

   Ние нямаме измервания за GB10, затова не ти даваме числа. Пусни един и същи запис пет пъти и попълни таблицата си:

   Какво мериш	Твоето число
   Време от подаването на звука до първите кадри	…
   Общо време за запис от 30 секунди	…
   Заета памет на графичния процесор (nvidia-smi)	…

04Проверка

• Знаеш, че урокът не е пускан на машина от класа GB10, и си проверил профила за твоята карта.
• Проверката на здравето връща „ready“, а примерният клиент — SUCCESS.
• Имаш папка с animation_frames.csv и си я разгледал.
• Ключът за NGC не е записан в споделен файл.
• Прочел си лицензите за предвидената употреба и не ползваш изхода за разпознаване на емоции.
• Лицето е обявено като ИИ; няма имитация на реален човек без писмено съгласие.
• Имаш собствена таблица с времена.

Тест

05Какво следва

06Източници

1. Audio2Face-3D NIM — документация 🔒 локално — стартиране, профили, здраве, примерен клиент, забрана за емоции.
2. Страница в каталога на NVIDIA — бележка, че облачната крайна точка е спряна.
3. Audio2Face-3D-v3.0 — описание на модела — лиценз, вход и изход, ограничения.
4. NVIDIA Audio2Face-3D — хранилище — таблица с лицензите на частите.
5. Audio2Face-3D-Samples — примерен клиент.
6. EUR-Lex: Регламент (ЕС) 2024/1689 (Регламент за ИИ) — чл. 50 и чл. 113.