In DeepEval können Sie Testfälle mit Eingabe, Antwort und Kriterien sammeln. Einige Metriken verwenden ein anderes Modell, daher müssen die Schwellenwerte mit Beispielen verglichen werden.
Wie man eine stille Regression bemerkt
Nach dem Bearbeiten der Anweisungen antwortet der Assistent kürzer, überspringt jedoch eine wichtige Ausnahme. DeepEval hilft, einen solchen Fall in einen wiederholten Test zu verwandeln. Speichern Sie die Frage, das Ausgangsmaterial und die erwartete Bedingung. Wenn eine Metrik einen modellbasierten Gutachter benötigt, überprüfen Sie dies zunächst auf ein paar Antworten mit einem bekannten Markup. Der BegriffQualität“ ist zu weit gefasst. Zum Beispiel ist es wichtig herauszufinden, ob eine Ausnahme erwähnt wird, wenn sie auf einen bestimmten Eingang angewendet wird.
Zwei Antworten mit ähnlichem Anfang
Machen Sie die richtige Antwort, die Antwort mit der verlorenen Bedingung und die Antwort mit einer Aussage, die nicht in der Quelle ist. Führen Sie die ausgewählte Überprüfung durch und vergleichen Sie die Lösung mit einem manuellen Etikett. Wenn ein Kriterium einen Fehler überspringt, spezifizieren Sie ihn oder fügen Sie eine separate Regel hinzu. Fügen Sie nach der Einrichtung einige Grenzbeispiele hinzu, um die Schwelle nicht an die erste Auswahl anzupassen.
Bei der neuen Version der Anleitung, werfen Sie den gleichen Satz. Behalten Sie die Bewertungen auf der Ebene der einzelnen Fragen, sonst wird ein Durchschnittswert die Änderungen verbergen.
Wann ist die Überprüfung des Modells angemessen?
Ein genaues Pflichtfeld sollte am besten programmgesteuert überprüft werden, wenn es zuverlässig extrahiert werden kann. Das Bewertungsmodell ist für semantische Zeichen nützlich, aber sein Urteil sollte durch Stichprobe überprüft werden. Notieren Sie sich die Version des Auswerters, die Parameter und den Preis des Laufs in der verwendeten Konfiguration. Wenn das Ergebnis in der Nähe der Schwelle schwankt, analysieren Sie die spezifischen Antworten, bevor Sie den Test zur obligatorischen Freigabeüberprüfung machen. Bewahren Sie die Beschreibung der einzelnen Metriken zusammen mit dem Testkit auf.
Für welche Aufgaben geeignet
- Verschlechterte Antworten nach dem Bearbeiten der Anweisungen verfolgen
- Überprüfen Sie die Eignung der ausgewählten Metrik anhand der markierten Beispiele
Stärken
- Dokumentiert Testfälle und Metrikoptionen
- Unterstützt Testläufe von der Befehlszeile
Einschränkungen
- Das Bewertungsmodell kann Fehler machen und zwischen Aufrufen anders entscheiden
- Prüfen Sie Kriterien und Schwellenwerte mit manuell bewerteten Beispielen
Auswahl und Bedingungen
- Kostenlose Nutzung
- Ja
- Testphase
- Nicht bestätigt
- Keine Registrierung erforderlich
- Nicht bestätigt
- Russische Benutzeroberfläche
- Nicht bestätigt
- Lokale Installation
- Ja
- API
- Nicht bestätigt
„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.
- Eingabeformate
- Text, Daten
- Ergebnis
- Daten, Text
Bedingungen
Die Bibliothek hat keinen Pflichttarif. Die Herausforderungen des Bewertungsmodells und die Funktionen der Cloud-Plattform werden separat berücksichtigt. Das Bewertungsmodell kann Fehler machen und zwischen Aufrufen anders entscheiden.Von der Aufgabe zum ersten Ergebnis
Praxisbeispiel
- Aufgabe
- Verschlechterte Antworten nach dem Bearbeiten der Anweisungen verfolgen
- Was Sie vorbereiten sollten
- Lernfragen, erwartete Bedingungen, richtige und falsche Antworten.
Aufgabenbeschreibung oder Prompt
Bewerten Sie die Antworten nach einem genehmigten Kriterium. Wiederholen Sie dies, nachdem Sie die Anweisungen geändert haben, und zeigen Sie die Fälle an, in denen sich die Bewertung geändert hat.
Erwartetes Ergebnis
Eine Liste von Regressionen mit Bewertungen und überprüfbaren Beispielen.
So prüfen Sie das Ergebnis
- Überprüfen Sie die Bewertungen mit manuellen Markup.
- Lassen Sie einige Grenzfälle außerhalb der Schwelleneinstellung.
Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.
Details überprüfen
Offizielle Quellen
Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.
