Un vocodeur neuronal qui transforme les spectrogrammes de Mel en formes d’onde. Il peut servir de dernière étape à une chaîne de synthèse audio.
La place du Vocoder dans la synthèse vocale
BigVGAN transforme une représentation numérique du son en forme d’onde. Dans les exemples de NVIDIA, l’entrée est un spectrogramme de Mel qui décrit l’évolution des fréquences au fil du temps. Pour synthétiser de la parole à partir de texte, un autre composant doit d’abord produire ce spectrogramme. BigVGAN reçoit ces caractéristiques numériques et ne lit pas le texte.
Vérification sur votre propre enregistrement
Pour le test d'apprentissage, écrivez deux phrases avec une pause et un sifflement silencieux. Calculez le spectrogramme en fonction des paramètres de la balance sélectionnée et restaurez le son. Vérifiez si le rythme et la durée coïncident, puis comparez les début des consonnes et les fins des mots. Si le résultat est supérieur ou inférieur à la source, vérifiez d'abord la fréquence d'échantillonnage et les paramètres de conversion. Le remplacement d'un point de contrôle sans cette vérification peut ajouter une autre variable.
Laissez l'entrée d'origine à côté de celle traitée et comparez-la au même niveau. L'option forte est facile à prendre pour plus claire, même avec la même intelligibilité.
Connexion à votre pipeline
NVIDIA fournit des exemples d’exécution locale et la configuration de chaque jeu de poids. Si un autre modèle génère le spectrogramme, vérifiez la fréquence d’échantillonnage, la taille de la fenêtre et le nombre de bandes de Mel. Pour traiter une série, notez ces paramètres et le nom du jeu de poids. Vous pourrez ainsi reproduire le résultat sur un autre système ou GPU.
Pour quelles tâches convient-il
- Récupérer un morceau de son d'apprentissage à partir d'un spectrogramme
- Connecter le Vocoder à votre audio
Les points forts
- Points de contrôle prêts à l'emploi avec configurations
- Exemple officiel de calcul du spectrogramme et de la restauration du son
Limites
- Fréquence et paramètres de spectrogramme compatibles nécessaires
- Un modèle séparé est requis pour le texte avant le Vocoder
Choix et conditions
- Mode gratuit
- Oui
- Période d'essai
- Non confirmé
- Sans inscription
- Oui
- Interface en russe
- Non confirmé
- Installation locale
- Oui
- API
- Non confirmé
« Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur.
- Formats d’entrée
- Audio
- Résultat
- Audio
Conditions
Le référentiel NVIDIA contient l'implémentation PyTorch, les points de contrôle et un exemple de traitement. Choisissez des poids avec une configuration compatible avec les données d'origine.De la tâche au premier résultat
Exemple pratique
- Tâche
- Récupérer un morceau de son d'apprentissage à partir d'un spectrogramme
- Que préparer
- Un bref enregistrement de voix et une configuration compatible pour calculer un spectrogramme de Mel.
Consigne ou requête
Calculez le spectrogramme en fonction des paramètres du modèle et restaurez le son. Comparez les étirements et les pauses avec l'entrée originale.
Résultat attendu
Onde sonore d'un spectrogramme avec une fréquence d'échantillonnage vérifiée.
Comment vérifier le résultat
- Vérifiez les paramètres de conversion et la fréquence d'enregistrement.
- Écoutez les transitions entre les zones calmes et bruyantes.
Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat.
Vérifier les détails
Sources officielles
- Réalisation, poids et exemple de synthèse BigVGAN
- Publication des auteurs sur le dispositif de Vocoder BigVGAN
La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser.