Ein neuronaler Vocoder, der Mel-Spektrogramme in Wellenformen umwandelt. Er kann die letzte Stufe einer Audiosynthese bilden.
Der Platz des Vocoders in der Sprachsynthese
BigVGAN wandelt eine numerische Darstellung des Klangs in eine Wellenform um. In den NVIDIA-Beispielen dient ein Mel-Spektrogramm als Eingabe. Es beschreibt, wie sich die Frequenzen über die Zeit ändern. Bei der Sprachsynthese aus Text erzeugt eine vorgeschaltete Komponente das Spektrogramm. BigVGAN arbeitet mit diesen numerischen Merkmalen und liest den Text selbst nicht.
Überprüfen Sie Ihre eigenen Aufzeichnungen
Schreibe zwei Sätze mit Pause und leisem Zischen auf. Berechnen Sie das Spektrogramm anhand der Einstellungen der ausgewählten Waage und stellen Sie den Klang wieder her. Überprüfen Sie, ob Tempo und Dauer übereinstimmen, und vergleichen Sie dann Konsonantenanfang und Wortenden. Wenn das Ergebnis höher oder niedriger als die Quelle klingt, überprüfen Sie zuerst die Abtastrate und die Konvertierungsparameter. Das Ersetzen eines Kontrollpunktes ohne eine solche Überprüfung kann eine weitere Variable hinzufügen.
Lassen Sie den ursprünglichen Eintrag neben dem bearbeiteten und vergleichen Sie sie auf der gleichen Ebene. Die laute Version ist leicht für klarer zu halten, auch bei gleicher Lesbarkeit.
Verbindung zu Ihrem Förderer
NVIDIA veröffentlicht Beispiele für die lokale Ausführung und die Konfiguration jedes Checkpoints. Erzeugt ein anderes Modell das Spektrogramm, prüfen Sie Abtastrate, Fenstergröße und Anzahl der Mel-Bänder. Halten Sie bei einer Serie diese Einstellungen und den Checkpoint-Namen fest. So können Sie das Ergebnis bei einem Wechsel der Umgebung oder Grafikkarte leichter reproduzieren.
Für welche Aufgaben geeignet
- Wiederherstellung des Trainings-Audio-Fragments aus dem Spektrogramm
- Verbinden Sie den Vocoder mit Ihrem Audio-Pipeline
Stärken
- Fertige Checkpoints mit Konfigurationen
- Offizielles Beispiel für die Berechnung des Spektrogramms und die Wiederherstellung von Ton
Einschränkungen
- Kompatible Frequenz und Spektralparameter erforderlich
- Für die Arbeit mit Text ist ein separates Modell vor dem Vocoder erforderlich
Auswahl und Bedingungen
- Kostenlose Nutzung
- Ja
- Testphase
- Nicht bestätigt
- Keine Registrierung erforderlich
- Ja
- Russische Benutzeroberfläche
- Nicht bestätigt
- Lokale Installation
- Ja
- API
- Nicht bestätigt
„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.
- Eingabeformate
- Audio
- Ergebnis
- Audio
Bedingungen
Das NVIDIA-Repository enthält PyTorch-Implementierung, Kontrollpunkte und ein Verarbeitungsbeispiel. Wählen Sie Gewichte mit einer Konfiguration, die mit den Quelldaten kompatibel ist.Von der Aufgabe zum ersten Ergebnis
Praxisbeispiel
- Aufgabe
- Wiederherstellung des Trainings-Audio-Fragments aus dem Spektrogramm
- Was Sie vorbereiten sollten
- Eine kurze Sprachaufnahme und eine kompatible Konfiguration für die Berechnung eines Mel-Spektrogramms.
Aufgabenbeschreibung oder Prompt
Berechnen Sie das Spektrogramm anhand der Modellparameter und stellen Sie den Klang wieder her. Vergleichen Sie die Zischen und Pausen mit der ursprünglichen Aufnahme.
Erwartetes Ergebnis
Schallwelle aus einem Spektrogramm mit einer überprüften Abtastrate.
So prüfen Sie das Ergebnis
- Überprüfen Sie die Konvertierungsparameter und die Schreibfrequenz.
- Hören Sie die Übergänge zwischen den ruhigen und lauten Bereichen.
Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.
Details überprüfen
Offizielle Quellen
- Implementierung, Gewicht und Beispiel der BigVGAN-Synthese
- Veröffentlichung von Autoren über das Gerät des BigVGAN-Vocoders
Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.