Canonical: https://instain.ru/de/ai/nvidia-bigvgan/ Language: de NVIDIA Modell # NVIDIA BigVGAN. Neuronaler Vocoder für die Audiosynthese 4.33 / 5 [Katalogbewertung](https://instain.ru/de/ai/nvidia-bigvgan/#editorial-rating) [Offizielle Website ](https://github.com/NVIDIA/BigVGAN) Ein neuronaler Vocoder, der Mel-Spektrogramme in Wellenformen umwandelt. Er kann die letzte Stufe einer Audiosynthese bilden. ![NVIDIA BigVGAN. NVIDIA-Repository mit Beispielen für den BigVGAN-Vocoder.](https://instain.ru/assets/images/nvidia-bigvgan-screen-6a187164d708-1200.webp) NVIDIA-Repository mit Beispielen für den BigVGAN-Vocoder. [Quelle öffnen ](https://github.com/NVIDIA/BigVGAN) ## Der Platz des Vocoders in der Sprachsynthese BigVGAN wandelt eine numerische Darstellung des Klangs in eine Wellenform um. In den NVIDIA-Beispielen dient ein Mel-Spektrogramm als Eingabe. Es beschreibt, wie sich die Frequenzen über die Zeit ändern. Bei der Sprachsynthese aus Text erzeugt eine vorgeschaltete Komponente das Spektrogramm. BigVGAN arbeitet mit diesen numerischen Merkmalen und liest den Text selbst nicht. ## Überprüfen Sie Ihre eigenen Aufzeichnungen Schreibe zwei Sätze mit Pause und leisem Zischen auf. Berechnen Sie das Spektrogramm anhand der Einstellungen der ausgewählten Waage und stellen Sie den Klang wieder her. Überprüfen Sie, ob Tempo und Dauer übereinstimmen, und vergleichen Sie dann Konsonantenanfang und Wortenden. Wenn das Ergebnis höher oder niedriger als die Quelle klingt, überprüfen Sie zuerst die Abtastrate und die Konvertierungsparameter. Das Ersetzen eines Kontrollpunktes ohne eine solche Überprüfung kann eine weitere Variable hinzufügen. Lassen Sie den ursprünglichen Eintrag neben dem bearbeiteten und vergleichen Sie sie auf der gleichen Ebene. Die laute Version ist leicht für klarer zu halten, auch bei gleicher Lesbarkeit. ## Verbindung zu Ihrem Förderer NVIDIA veröffentlicht Beispiele für die lokale Ausführung und die Konfiguration jedes Checkpoints. Erzeugt ein anderes Modell das Spektrogramm, prüfen Sie Abtastrate, Fenstergröße und Anzahl der Mel-Bänder. Halten Sie bei einer Serie diese Einstellungen und den Checkpoint-Namen fest. So können Sie das Ergebnis bei einem Wechsel der Umgebung oder Grafikkarte leichter reproduzieren. ## Für welche Aufgaben geeignet - Wiederherstellung des Trainings-Audio-Fragments aus dem Spektrogramm - Verbinden Sie den Vocoder mit Ihrem Audio-Pipeline Funktionen ## Stärken - Fertige Checkpoints mit Konfigurationen - Offizielles Beispiel für die Berechnung des Spektrogramms und die Wiederherstellung von Ton Zu berücksichtigen ## Einschränkungen - Kompatible Frequenz und Spektralparameter erforderlich - Für die Arbeit mit Text ist ein separates Modell vor dem Vocoder erforderlich ## Auswahl und Bedingungen Kostenlose Nutzung Ja Testphase Nicht bestätigt Keine Registrierung erforderlich Ja Russische Benutzeroberfläche Nicht bestätigt Lokale Installation Ja API Nicht bestätigt „Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers. Eingabeformate Audio Ergebnis Audio ### Bedingungen Das NVIDIA-Repository enthält PyTorch-Implementierung, Kontrollpunkte und ein Verarbeitungsbeispiel. Wählen Sie Gewichte mit einer Konfiguration, die mit den Quelldaten kompatibel ist. Von der Aufgabe zum ersten Ergebnis ## Praxisbeispiel Aufgabe Wiederherstellung des Trainings-Audio-Fragments aus dem Spektrogramm Was Sie vorbereiten sollten Eine kurze Sprachaufnahme und eine kompatible Konfiguration für die Berechnung eines Mel-Spektrogramms. ### Aufgabenbeschreibung oder Prompt Berechnen Sie das Spektrogramm anhand der Modellparameter und stellen Sie den Klang wieder her. Vergleichen Sie die Zischen und Pausen mit der ursprünglichen Aufnahme. ### Erwartetes Ergebnis Schallwelle aus einem Spektrogramm mit einer überprüften Abtastrate. ### So prüfen Sie das Ergebnis - Überprüfen Sie die Konvertierungsparameter und die Schreibfrequenz. - Hören Sie die Übergänge zwischen den ruhigen und lauten Bereichen. Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses. Details überprüfen ## Offizielle Quellen - [Implementierung, Gewicht und Beispiel der BigVGAN-Synthese ](https://github.com/NVIDIA/BigVGAN) - [Veröffentlichung von Autoren über das Gerät des BigVGAN-Vocoders ](https://arxiv.org/abs/2206.04658) Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung. Das Tool im Überblick Entwickler NVIDIA Kategorie [Audio](https://instain.ru/de/category/audio/) Zugang Das NVIDIA-Repository enthält PyTorch-Implementierung, Kontrollpunkte und ein Verarbeitungsbeispiel. Wählen Sie Gewichte mit einer Konfiguration, die mit den Quelldaten kompatibel ist. Zahlung Der Code wurde vom MIT veröffentlicht. Überprüfen Sie für einen bestimmten Kontrollpunkt und eine bestimmte Audioquelle die geltenden Bedingungen, und berücksichtigen Sie die Berechnungskosten lokal. API Keine separate API angegeben [Entwicklerbedingungen ](https://github.com/NVIDIA/BigVGAN) Katalogbewertung 4.33 / 5 Funktionen 4.50 / 5 Arbeitsszenarien 4.00 / 5 Ökosystem 4.30 / 5 Dokumentation 4.50 / 5 Die Punkte dienen der Orientierung im Katalog. Sie sind weder Nutzerbewertungen noch Ergebnisse persönlicher Tests. [Siehe Methodik ](https://instain.ru/de/methodology/)