Modelle und SDK für Gesichtsanimation aus Audio. Der Ausgang steuert die Gesichtsformen des vorbereiteten dreidimensionalen Charakters.
Der Soundtrack treibt das Gesicht an
Audio2Face-3D analysiert die Sprache und bildet Parameter der Gesichtsanimation, zum Beispiel das Gewicht der Gesichtsformen. Das Modell wird auf den vorbereiteten Charakter über das gewählte SDK oder die Integration angewendet. Überprüfen Sie vor der Verarbeitung, ob der Charakter die erforderlichen Mundformen hat und wie diese mit dem Ausgang des Modells zusammenhängen. Die Mimikdatei ersetzt nicht das Charaktermodell, die Szene und den Render.
Probe mit einer kurzen Replik des Charakters
Bereiten Sie den Lernhelden und die erlaubte Aufnahme eines einzigen Satzes vor, bei dem nach dem Satz mit den Lippenkonsonanten eine Pause eingelegt wird. Starten Sie die Verarbeitung und übertragen Sie die Parameter auf Rig. Überprüfen Sie, ob sich der Mund zu Beginn der Pause schließt. Überprüfen Sie dann die einzelnen Geräusche und die Bewegung des Kiefers an der Seite. Wenn sich die Lippen richtig schließen und sich das Gesicht übermäßig bewegt, korrigieren Sie die Einstellungen für die Formübertragung, bevor Sie den gesamten Dialog bearbeiten.
Speichern Sie Sound, Modellparameter und manuelle Bearbeitungen getrennt. Dies ermöglicht es, die Version des Rigs zu ersetzen, ohne die Replik neu zu installieren.
Wie man eine gültige Option auswählt
Das NVIDIA-Repository enthält Modelle und Werkzeuge zum Ausführen der offenen Version. Das Trainingsframework ist separat dokumentiert. In den Katalogen können auch Seiten älterer gehosteter Dienste erscheinen. Richten Sie sich bei neuen Projekten nach den offenen Komponenten, ihren Versionen und Voraussetzungen. Prüfen Sie Export und Bildqualität für das fertige Video in Ihrer Engine oder Ihrem Editor. Kontrollieren Sie die Animation bei der Bildrate Ihres Projekts.
Für welche Aufgaben geeignet
- Verknüpfen Sie Ihre Stimme mit einem Lern-3D-Charakter
- Überprüfe die Mimik auf dein eigenes Rig
Stärken
- Offenes Gewicht und separates SDK für die Integration
- Generierung von Gesichtsparametern über Audio
Einschränkungen
- Für die Ausgabe benötigen Sie ein kompatibles Rig und eine Transfereinstellung
- Artikulation und Mimik erfordern eine Charakterprüfung
Auswahl und Bedingungen
- Kostenlose Nutzung
- Nicht bestätigt
- Testphase
- Nicht bestätigt
- Keine Registrierung erforderlich
- Nicht bestätigt
- Russische Benutzeroberfläche
- Nicht bestätigt
- Lokale Installation
- Ja
- API
- Ja
„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.
- Eingabeformate
- Audio
- Ergebnis
- Animiert
Bedingungen
NVIDIA veröffentlicht offene Gewichte und Werkzeuge in einem separaten Repository. Die Kompatibilität hängt von der gewählten Umgebung, dem SDK und der Integrationsmethode ab.Von der Aufgabe zum ersten Ergebnis
Praxisbeispiel
- Aufgabe
- Verknüpfen Sie Ihre Stimme mit einem Lern-3D-Charakter
- Was Sie vorbereiten sollten
- Seine kurze Replik und vorbereitete digitale Figur mit einer Reihe von Mundformen.
Aufgabenbeschreibung oder Prompt
Verknüpfen Sie den Ausdruck mit dem Charakter und überprüfen Sie die Momente, in denen der Mund geschlossen ist. Speichern Sie das Original der Audiospur.
Erwartetes Ergebnis
Schwarze Animation des gesprochenen Satzes.
So prüfen Sie das Ergebnis
- Bestimmen Sie den Beginn der Wörter mit der Bewegung des Mundes.
- Beheben Sie manuell spürbare Fehler in den Pausen.
Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.
Details überprüfen
Offizielle Quellen
- Repository NVIDIA mit Modellreferenzen und SDK
- Modell, Training und Formate der Gesichtsanimation
- NVIDIA-Studie zur Gesichtsanimation durch Audio
Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.
