Für eine DPO wird eine bevorzugte und weniger erfolgreiche Antwort auf eine Anfrage angewendet. TRL bietet eine vorgefertigte Lernklasse und beschreibt unterstützte Formate.
Wie man ein paar Antworten zu markieren
Als Beispiel dient ein Assistent für ein internes Handbuch. Auf eine Frage zur Fristverlängerung gibt eine Antwort die Regel korrekt wieder, die andere erfindet eine Ausnahme. Für DPO speichern Sie die Anfrage und beide Antworten und markieren die richtige als bevorzugt. Ist die zweite zugleich länger und ungenauer, kann das Modell die Präferenz mit der Länge verknüpfen. Ergänzen Sie Paare mit ähnlichem Stil, die sich in der sachlichen Richtigkeit unterscheiden. So wird das gewünschte Kriterium in den Daten deutlicher.
Übertragen auf TRL
DPOTrainer verarbeitet einen Datensatz mit den Feldern prompt, chosen und rejected. Bei Dialogbeispielen werden Nachrichtenrollen unterstützt. Prüfen Sie, ob beide Antworten dieselbe Frage behandeln und keine Angaben enthalten, die in der Anfrage oder im Handbuch fehlen. Halten Sie Fragen aus einem anderen Kapitel für die Prüfung zurück. Nehmen Sie auch ein Paar auf, in dem die bevorzugte Antwort eine Rückfrage stellt.
Kontrolle nach dem Training
Überprüfen Sie separat die genauen Antworten, relevante Verfeinerungen und selbstbewusste Fiktionen. Die Gesamtbewertung kann sich aufgrund des kürzeren Stils verbessern, auch wenn einige der alten richtigen Antworten fehlen. Speichern Sie einige dieser Beispiele neben den Run-Parametern. Überprüfen Sie, ob die Dialogvorlage beim Lernen und Testen übereinstimmt. Der Vergleich mit dem ursprünglichen Modell macht Sinn, auf einem Satz von Fragen, mit dem gleichen Kontext und den gleichen Einstellungen der Erzeugung. Ergänzen Sie für wichtige Szenarien die automatischen Indikatoren durch manuelle Inhaltsüberprüfung.
Für welche Aufgaben geeignet
- Überprüfen Sie die Ausbildung auf paar Antworten
- Vergleichen Sie das Modell vor und nach dem DPO
Stärken
- Es gibt eine fertige DPOTrainer-Klasse und Beispielformate
- Die Bibliothek ist mit dem Ökosystem Transformers verbunden
Einschränkungen
- Die Präferenzen im Datensatz beeinflussen das resultierende Verhalten
- Für die Auswertung außerhalb der Trainingsdaten sind eigene Annotationen nötig
Auswahl und Bedingungen
- Kostenlose Nutzung
- Ja
- Testphase
- Nicht bestätigt
- Keine Registrierung erforderlich
- Nicht bestätigt
- Russische Benutzeroberfläche
- Nicht bestätigt
- Lokale Installation
- Ja
- API
- Nicht bestätigt
„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.
- Eingabeformate
- Text, Daten
- Ergebnis
- Daten, Modell
Bedingungen
Die quelloffene Bibliothek hat keinen eigenen Tarif. Rechenleistung, Hosting und Nutzungsbedingungen des Basismodells sind separat zu berücksichtigen. Die Präferenzen im Datensatz beeinflussen das resultierende Verhalten.Von der Aufgabe zum ersten Ergebnis
Praxisbeispiel
- Aufgabe
- Überprüfen Sie die Ausbildung auf paar Antworten
- Was Sie vorbereiten sollten
- Eine Reihe von Abfragen und Antworten, ein kompatibles Modell und einzelne Testbeispiele.
Aufgabenbeschreibung oder Prompt
Bereiten Sie eine kurze Trainingsfahrt vor. Speichern Sie die Modelleinstellungen und vergleichen Sie die Antworten vor und nach dem Training mit den gleichen Testanforderungen.
Erwartetes Ergebnis
Qualitätsänderungsbericht und konfigurierter Adapter oder Prüfpunkt.
So prüfen Sie das Ergebnis
- Entfernen Sie Kopien und ähnliche Optionen zwischen den Stichproben.
- Markieren Sie separat Inhaltsfehler und Abweichungen vom Format.
Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.
Details überprüfen
Offizielle Quellen
Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.
