Модели и SDK для анимации лица из аудио. Выход управляет лицевыми формами подготовленного трехмерного персонажа.
Звуковая дорожка приводит в движение лицо
Audio2Face-3D анализирует речь и формирует параметры лицевой анимации, например веса лицевых форм. Модель применяется к подготовленному персонажу через выбранный SDK или интеграцию. До обработки проверьте, есть ли у персонажа необходимые формы рта и как они связаны с выходом модели. Файл с параметрами мимики сам по себе не заменяет модель персонажа, сцену и рендер.
Проба с короткой репликой персонажа
Подготовьте учебного героя и разрешенную запись одной реплики, где после фразы с губными согласными есть пауза. Запустите обработку и перенесите параметры на риг. Сначала посмотрите, закрывается ли рот к началу паузы. Затем проверьте отдельные звуки и движение челюсти сбоку. Если губы смыкаются правильно, а лицо чрезмерно двигается, исправьте настройки переноса форм перед обработкой всего диалога.
Сохраняйте звук, параметры модели и ручные правки раздельно. Это позволяет заменить версию рига без повторного монтажа реплики.
Как выбрать действующий вариант
В репозитории NVIDIA собраны модели и средства запуска для открытой версии, а обучающий фреймворк описан отдельно. В каталогах разработчика могут встречаться и страницы старых размещенных сервисов. Для нового проекта ориентируйтесь на описание открытых компонентов, их версии и требования. Если нужен итоговый ролик, экспорт и визуальное качество проверяйте уже в своем движке или редакторе. Сверьте анимацию при той же частоте кадров, что и в проекте.
Для каких задач подходит
- Привязать голос к учебному 3D персонажу
- Проверить перенос мимики на собственный риг
Сильные стороны
- Открытые веса и отдельный SDK для интеграции
- Генерация лицевых параметров по аудио
Ограничения
- Для вывода нужен совместимый риг и настройка переноса
- Артикуляция и мимика требуют проверки на персонаже
Выбор и условия
- Бесплатный режим
- Не подтверждено
- Пробный период
- Не подтверждено
- Без регистрации
- Не подтверждено
- Русский интерфейс
- Не подтверждено
- Локальная установка
- Да
- API
- Да
«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.
- Исходные форматы
- Аудио
- Результат
- Анимация
Условия
NVIDIA публикует открытые веса и инструменты в отдельном репозитории. Совместимость зависит от выбранной среды, SDK и способа интеграции.От задачи к первому результату
Практический пример
- Задача
- Привязать голос к учебному 3D персонажу
- Что подготовить
- Своя короткая реплика и подготовленный цифровой персонаж с набором форм рта.
Задание или запрос
Привяжите реплику к персонажу и проверьте моменты, когда рот закрывается. Сохраните оригинал звуковой дорожки.
Ожидаемый результат
Черновая анимация произнесенной реплики.
Как проверить результат
- Сверьте начало слов с движением рта.
- Вручную поправьте заметные ошибки на паузах.
Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.
Проверить подробности
Официальные источники
- Репозиторий NVIDIA со ссылками на модели и SDK
- Модель, обучение и форматы лицевой анимации
- Исследование NVIDIA об анимации лица по аудио
Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.
