Die Bibliothek hilft dabei, das Such- und Generierungsbündel anhand der gespeicherten Beispiele zu bewerten. Die Faithfulness-Metrike prüft, welche Aussagen aus den gefundenen Fragmenten folgen.

Hilfe Ragas mit einer Liste von Metriken für die Suche und Erzeugung. Quelle öffnen

Speichern Sie die Fragmente, die das Modell gesehen hat

Ein Assistent nennt sicher eine Rückgabefrist, die im gefundenen Artikel gar nicht steht. Speichern Sie Frage, Antwort und die Abschnitte, die tatsächlich an das Modell übermittelt wurden. Die Ragas-Metrik Faithfulness hilft, Aussagen ohne Beleg in diesem Kontext zu erkennen. Prüfen Sie die Suche gesondert, falls der passende Abschnitt fehlte oder hinter irrelevanten Treffern lag.

Wie man eine Prüfung zusammenstellt

Nehmen Sie die fiktiven Regeln des Geschäfts und ein paar Anfragen. In einem Beispiel fügt die Antwort eine nicht existierende Frist hinzu, in einem anderen wird die gefundene Regel korrekt übergeben, im dritten Fall ist eine zusätzliche Frage erforderlich. Eine manuelle Markierung ist nützlich, um die automatische Bewertung zu überprüfen. Nachdem Sie die Suchmethode geändert haben, vergleichen Sie nicht nur den Gesamtindikator, sondern auch die einzelnen Antworten auf dieselben Fragen. So ist es einfacher zu sehen, welche Anpassung den Kontext verbessert hat und welche Fehler noch bestehen.

Wo die Bewertung falsch sein kann

Enthält ein gefundenes Dokument eine veraltete Regel, kann eine Antwort trotzdem gut auf diesem Dokument beruhen. Zur Faktenprüfung ist eine aktuelle Quelle nötig. Auch das Bewertungsmodell kann eine Verneinung oder Ausnahme anders verstehen. Wählen Sie solche Beispiele für eine manuelle Prüfung und speichern Sie die Metrikversion mit dem Ergebnis. Klären Sie bei internen Materialien vorab, ob sie an den Bewertungsanbieter übermittelt werden dürfen, und begrenzen Sie den Datensatz entsprechend.

Für welche Aufgaben geeignet

Antworten mit unbestätigten Aussagen finden
Vergleichen Sie die beiden Suchoptionen zu den gleichen Themen

Funktionen

Stärken

Es gibt separate Metriken für die Antwort und Suche
Die Hilfe beschreibt detailliert die erwarteten Eingänge und Berechnungen

Zu berücksichtigen

Einschränkungen

Modellbasierte Bewertungen können bei mehrdeutigen Beispielen fehlerhaft sein
Auch eine durch den Kontext gestützte Antwort kann auf einer falschen Quelle beruhen

Auswahl und Bedingungen

Kostenlose Nutzung: Ja
Testphase: Nicht bestätigt
Keine Registrierung erforderlich: Nicht bestätigt
Russische Benutzeroberfläche: Nicht bestätigt
Lokale Installation: Ja
API: Nicht bestätigt

„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.

Eingabeformate: Text, Daten
Ergebnis: Daten, Text

Bedingungen

Die Bibliothek ist quelloffen. Aufrufe eines externen Bewertungsmodells können nach den Tarifen des Anbieters berechnet werden. Modellbasierte Bewertungen können bei mehrdeutigen Beispielen fehlerhaft sein.

Von der Aufgabe zum ersten Ergebnis

Praxisbeispiel

Aufgabe: Antworten mit unbestätigten Aussagen finden
Was Sie vorbereiten sollten: Lernfragen, erwartete Bedingungen, richtige und falsche Antworten.

Aufgabenbeschreibung oder Prompt

Bewerten Sie die Antworten nach einem genehmigten Kriterium. Wiederholen Sie dies, nachdem Sie die Anweisungen geändert haben, und zeigen Sie die Fälle an, in denen sich die Bewertung geändert hat.

Erwartetes Ergebnis

Eine Liste von Regressionen mit Bewertungen und überprüfbaren Beispielen.

So prüfen Sie das Ergebnis

Überprüfen Sie die Bewertungen mit manuellen Markup.
Lassen Sie einige Grenzfälle außerhalb der Schwelleneinstellung.

Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.

Details überprüfen

Offizielle Quellen

Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.

Ragas.