Sesame modèle

Sesame CSM.

Génération de la parole avec le contexte des répliques précédentes

4.13 / 5Évaluation du catalogue
Site officiel

Modèle de recherche sur la synthèse vocale. Lors de la génération de la prochaine réplique peut prendre en compte le texte et l'audio des précédents.

Sesame CSM. Article Sesame sur le développement d'un modèle de conversation.
Article Sesame sur le développement d'un modèle de conversation. Ouvrir la source

Compte tenu du précédent extrait

Le CSM reçoit le texte de la future réplique et peut prendre en compte les fragments précédents de la conversation. Dans l'exemple ouvert du développeur, le contexte inclut le texte et l'audio des phrases déjà prononcées. Cela vous permet d'étudier comment le son change avec les mêmes mots et un environnement différent. Le modèle public fait référence à la synthèse de la parole. Le contenu de la réponse pour l'expérience est préparé par l'utilisateur lui-même.

Une réponse dans deux situations

Pour la scène d'étude, imaginons une phrase anglaise indiquant que la porte est ouverte. Dans la première version, une question calme lui est posée. Dans le second, le personnage se précipite et précise s'il est possible d'entrer maintenant. Enregistrez le contexte avec votre propre voix avec la permission des participants. Générez la même phrase dans les deux cas et comparez la durée, l'accentuation et la transition vers le début du discours. L'intonation doit correspondre à la scène et les mots doivent rester lisibles.

Pour comprendre la contribution du contexte, laissez une option sans la réplique précédente et écoutez-la à côté des autres.

Limites de l'émission de recherche

Sesame indique que d'autres langues peuvent fonctionner moins bien que l'anglais. Avant l'intégration, vérifiez l'exemple sur votre appareil et évaluez la quantité de mémoire. Pour la démonstration, collectez un script artificiel et utilisez uniquement les enregistrements autorisés. Ne transférez pas sur le modèle les propriétés de l'ensemble du produit vocal Sesame. Le référentiel décrit un modèle indépendant et les conditions de son application acceptable. Conservez le contexte séparément pour chaque tentative afin que la comparaison puisse être répétée.

Pour quelles tâches convient-il

  • Vérifier l'effet de la phrase précédente sur l'intonation
  • Préparer un dialogue d'apprentissage audio court
Fonctionnalités

Les points forts

  • Vous pouvez définir les phrases précédentes comme contexte
  • Poids publiés et exemple de lancement
Il faut prendre en compte

Limites

  • Langue principale Anglais
  • La voix d'un homme réel ne peut être utilisée qu'avec le consentement

Choix et conditions

Mode gratuit
Oui
Période d'essai
Non confirmé
Sans inscription
Non confirmé
Interface en russe
Non confirmé
Installation locale
Oui
API
Non confirmé

« Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur.

Formats d’entrée
Texte, Audio
Résultat
Audio

Conditions

Pour l'auto-exécution, utilisez les poids publiés et l'exemple du développeur. Les exigences en matière d'environnement sont indiquées dans le référentiel.

De la tâche au premier résultat

Exemple pratique

Tâche
Vérifier l'effet de la phrase précédente sur l'intonation
Que préparer
Un bref dialogue fictif en anglais avec deux participants clairement identifiés.

Consigne ou requête

Speaker one asks when the repair shop opens. Speaker two answers that it opens at nine. Keep both lines short and preserve the pause.

Résultat attendu

L'audio noir de deux répliques à écouter.

Comment vérifier le résultat

  • Distinguer les voix et vérifier le changement de locuteur avec le texte.
  • Vérifiez la prononciation, la durée des pauses et les droits sur les exemples vocaux.

Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat.

Vérifier les détails

Sources officielles

  1. Code officiel et restrictions de Sesame CSM
  2. Carte modèle CSM
  3. Étude Sesame sur la parole parlée

La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser.