Modèles et SDK pour animer un visage à partir de l’audio. Le résultat pilote les formes faciales d’un personnage tridimensionnel préparé à cet effet.
La piste sonore fait bouger le visage
Audio2Face-3D analyse la parole et forme des paramètres d'animation faciale, tels que le poids des formes faciales. Le modèle s'applique au personnage préparé via le SDK ou l'intégration sélectionné. Avant le traitement, vérifiez si le personnage a les formes de bouche nécessaires et comment elles sont liées à la sortie du modèle. Le fichier de paramètres de mimique ne remplace pas le modèle de personnage, la scène et le rendu.
Essai avec une brève réplique du personnage
Préparez le héros d'entraînement et l'enregistrement autorisé d'une seule réplique, où il y a une pause après la phrase avec des consonnes labiales. Exécutez le traitement et déplacez les paramètres sur rig. Tout d'abord, voyez si la bouche se ferme au début de la pause. Ensuite, vérifiez les sons individuels et le mouvement de la mâchoire sur le côté. Si les lèvres se ferment correctement et que le visage bouge trop, corrigez les paramètres de transfert de forme avant de traiter toute la boîte de dialogue.
Conservez le son, les paramètres du modèle et les modifications manuelles séparément. Cela vous permet de remplacer la version rigue sans réinstaller la réplique.
Comment choisir une option valide
Le dépôt NVIDIA réunit les modèles et les outils d’exécution de la version ouverte. Le cadre d’entraînement est documenté séparément. Le catalogue peut également contenir des pages d’anciens services hébergés. Pour un nouveau projet, consultez la description des composants ouverts, leurs versions et leurs exigences. Pour une vidéo finale, vérifiez l’exportation et la qualité visuelle dans votre moteur ou votre éditeur. Contrôlez l’animation à la fréquence d’images du projet.
Pour quelles tâches convient-il
- Associer la voix à un personnage éducatif 3D
- Vérifier le transfert des expressions faciales sur votre propre rig
Les points forts
- Poids ouverts et SDK séparé pour l'intégration
- Génération des paramètres du visage par audio
Limites
- La sortie nécessite une rig compatible et un paramètre de transfert
- Articulation et expressions faciales nécessitent une vérification du personnage
Choix et conditions
- Mode gratuit
- Non confirmé
- Période d'essai
- Non confirmé
- Sans inscription
- Non confirmé
- Interface en russe
- Non confirmé
- Installation locale
- Oui
- API
- Oui
« Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur.
- Formats d’entrée
- Audio
- Résultat
- Animation
Conditions
NVIDIA publie des poids et des outils ouverts dans un dépôt séparé. La compatibilité dépend de l'environnement, du SDK et de la méthode d'intégration choisis.De la tâche au premier résultat
Exemple pratique
- Tâche
- Associer la voix à un personnage éducatif 3D
- Que préparer
- Sa réplique courte et son personnage numérique préparé avec un ensemble de formes de bouche.
Consigne ou requête
Attachez la réplique au personnage et vérifiez les moments où la bouche se ferme. Conservez l'original de la piste audio.
Résultat attendu
Animation noire de la réplique prononcée.
Comment vérifier le résultat
- Commencez par les mots avec le mouvement de la bouche.
- Corrigez manuellement les erreurs notables sur les pauses.
Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat.
Vérifier les détails
Sources officielles
- Le référentiel NVIDIA avec des liens vers les modèles et le SDK
- Modèle, formation et formats d'animation faciale
- L'étude NVIDIA sur l'animation du visage par audio
La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser.
