Sesame Modell

Sesame CSM.

Sprache mit Gesprächskontext erzeugen

4.13 / 5Katalogbewertung
Offizielle Website

Forschungsmodell zur Sprachsynthese. Es kann für den nächsten Satz Text und Audio vorheriger Gesprächsbeiträge berücksichtigen.

Sesame CSM. Sesame Artikel über die Entwicklung eines Gesprächsmodells.
Sesame Artikel über die Entwicklung eines Gesprächsmodells. Quelle öffnen

Sprache mit Bezug auf den vorherigen Satz

CSM erhält den Text des nächsten Satzes und kann frühere Teile des Gesprächs berücksichtigen. Im öffentlichen Beispiel des Entwicklers umfasst der Kontext Text und Audio bereits gesprochener Beiträge. Damit lässt sich untersuchen, wie dieselben Wörter in unterschiedlichen Situationen klingen. Das veröffentlichte Modell synthetisiert Sprache. Den Inhalt der Antwort geben Sie für das Experiment vor.

Eine Antwort in zwei Situationen

Für die Lernszene, denken Sie an den englischen Satz, dass die Tür offen ist. In der ersten Variante gibt es eine ruhige Frage. Im zweiten Teil wird gemunkelt, ob man jetzt reinkommen kann. Notieren Sie sich den Kontext mit der eigenen Stimme mit der Erlaubnis der Teilnehmer. Generieren Sie in beiden Fällen den gleichen Satz und vergleichen Sie die Dauer, Betonung und den Übergang zum Anfang der Rede. Der Tonfall muss zur Szene passen und die Worte müssen lesbar bleiben.

Um den Beitrag des Kontextes zu verstehen, lassen Sie eine Option ohne vorheriges Rezitieren und hören Sie sie neben den anderen an.

Grenzen der Forschungsversion

Sesame weist darauf hin, dass andere Sprachen schlechter als Englisch funktionieren können. Überprüfen Sie vor der Integration das Beispiel auf Ihrem Gerät und bewerten Sie die Speicherkapazität. Erstellen Sie ein künstliches Skript und verwenden Sie nur zulässige Einträge. Übertragen Sie nicht die Eigenschaften des gesamten Sesame-Sprachprodukts auf das Modell. Das Repository beschreibt ein unabhängiges Modell und die Bedingungen für seine zulässige Verwendung. Speichern Sie den Kontext für jeden Versuch separat, damit der Vergleich wiederholt werden kann.

Für welche Aufgaben geeignet

  • Überprüfen Sie die Wirkung des vorherigen Ausdrucks auf die Intonation
  • Bereiten Sie ein Audio-Kurzlehrdialog
Funktionen

Stärken

  • Sie können frühere Ausdrücke als Kontext festlegen
  • Veröffentlichte Gewichte und ein Beispiel für den Start
Zu berücksichtigen

Einschränkungen

  • Hauptsprache Englisch
  • Die Stimme einer echten Person kann nur mit Zustimmung verwendet werden.

Auswahl und Bedingungen

Kostenlose Nutzung
Ja
Testphase
Nicht bestätigt
Keine Registrierung erforderlich
Nicht bestätigt
Russische Benutzeroberfläche
Nicht bestätigt
Lokale Installation
Ja
API
Nicht bestätigt

„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.

Eingabeformate
Text, Audio
Ergebnis
Audio

Bedingungen

Verwenden Sie zum Selbststart die veröffentlichten Gewichte und das Beispiel des Entwicklers. Die Anforderungen an die Umgebung sind im Repository angegeben.

Von der Aufgabe zum ersten Ergebnis

Praxisbeispiel

Aufgabe
Überprüfen Sie die Wirkung des vorherigen Ausdrucks auf die Intonation
Was Sie vorbereiten sollten
Ein kurzer fiktiver Dialog auf Englisch mit zwei eindeutig benannten Teilnehmern.

Aufgabenbeschreibung oder Prompt

Speaker one asks when the repair shop opens. Speaker two answers that it opens at nine. Keep both lines short and preserve the pause.

Erwartetes Ergebnis

Schwarz-Audio zwei Repliken für das Hören.

So prüfen Sie das Ergebnis

  • Unterscheiden Sie die Stimmen und überprüfen Sie den Sprecherwechsel mit dem Text.
  • Überprüfen Sie die Aussprache, die Dauer der Pausen und die Rechte an Sprachbeispielen.

Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.

Details überprüfen

Offizielle Quellen

  1. Offizieller Code und Einschränkungen von Sesame CSM
  2. CSM-Modellkarte
  3. Sesame Studie über gesprochene Sprache

Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.