Phoenix akzeptiert Anwendungspfade mit Modellen. Das Team kann die Anrufkette öffnen und Qualitätsbewertungen mit einem einzelnen Schritt oder einer ganzen Antwort verknüpfen.
Wie man sieht, was vor der Antwort passiert ist
Eine misslungene Antwort in einer Suchanwendung kann mehrere Ursachen haben. Der Index hat eine Passage übersehen, ein Filter hat sie entfernt oder das Modell hat den richtigen Text falsch verstanden. Arize Phoenix erfasst Daten zu einzelnen Schritten in einem Trace. Mit eingerichtetem Tracing kann der Entwickler den Suchaufruf getrennt von der Generierung prüfen. Für den Einstieg genügt ein anonymisierter Ablauf mit einer Frage, deren Quelle bekannt ist.
Markierungen auf der Trainingsstrecke
Nehmen Sie zwei Antworten auf eine Frage. Im ersten Fall gibt es im Kontext den notwendigen Absatz, im zweiten nicht. Überprüfen Sie, welches Ereignis die Fragmente des Modells überträgt und welchen Text es zurückgegeben hat. Setzen Sie separate Such- und Ausgabequalitätskennzeichen. Vergleichen Sie dann die manuelle Bewertung mit dem ausgewählten automatischen Gutachter. Wenn das Modell eine falsche Antwort gut bewertet hat, speichern Sie dieses Beispiel und klären Sie das Kriterium.
Was in der Zeitschrift zu hinterlassen
Entfernen Sie vertrauliche Daten vor dem Export der Traces. Um Verzögerungen zu finden, genügen oft Namen und Dauer der Schritte sowie anonymisierte IDs. Fragen und gefundene Texte sollten nur dort gespeichert werden, wo es vorgesehen ist. Legen Sie Aufbewahrungsfristen und Rollen fest. Prüfen Sie, ob sich Antworten den richtigen Index- und Modellversionen zuordnen lassen. Bei wachsender Last sollten Sie das Datenvolumen und die Häufigkeit von Bewertungen getrennt betrachten. Vergleichen Sie gleiche Trace-Typen.
Für welche Aufgaben geeignet
- Finden Sie einen Fehler in der Suchkette
- Vergleichen Sie manuelle Qualitätskennzeichnungen und automatische Auswertungen
Stärken
- Zeigt die zugehörigen Modell- und Werkzeugschritte an
- Dokumentiert die Bewertung mit dem Modell und die Durchsicht der Trassen
Einschränkungen
- Die Trace-Erfassung muss auf zulässige Daten begrenzt werden
- Gleichen Sie Modellbewertungen mit menschlichen Annotationen ab
Auswahl und Bedingungen
- Kostenlose Nutzung
- Ja
- Testphase
- Nicht bestätigt
- Keine Registrierung erforderlich
- Nicht bestätigt
- Russische Benutzeroberfläche
- Nicht bestätigt
- Lokale Installation
- Ja
- API
- Nicht bestätigt
„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.
- Eingabeformate
- Daten, Text
- Ergebnis
- Text, Daten
Bedingungen
Es gibt keine Gebühren für die Bibliothekslizenz. Die Platzierung, die Erhaltung der Strecken und die Bewertungsmodelle haben getrennte Kosten. Die Trace-Erfassung muss auf zulässige Daten begrenzt werden.Von der Aufgabe zum ersten Ergebnis
Praxisbeispiel
- Aufgabe
- Finden Sie einen Fehler in der Suchkette
- Was Sie vorbereiten sollten
- Teststrecke des Assistenten mit Fragen, Suchergebnissen und Antworten.
Aufgabenbeschreibung oder Prompt
Finden Sie den Schritt, an dem das gewünschte Fragment verloren gegangen ist. Vergleichen Sie die Richtigkeit der Antwort und die Eignung des Kontexts.
Erwartetes Ergebnis
Eine markierte Strecke mit einer begründeten Schlussfolgerung über den problematischen Schritt.
So prüfen Sie das Ergebnis
- Überprüfen Sie die Ausgabe mit manueller Markierung.
- Überprüfen Sie, welche Tracesfelder erhalten bleiben.
Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.
Details überprüfen
Offizielle Quellen
Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.