Der Test in Inspect beschreibt die ersten Beispiele, Interaktionsschritte und die Ergebnisüberprüfung. Für Agent-Aufgaben können Sie sowohl die Antwort als auch die Aktionen im Journal sehen.
Welche Fakten sollte der Test zeigen
Ein Testassistent kann behaupten, einen Eintrag aktualisiert zu haben, obwohl das Modell das Werkzeug nie aufgerufen hat. Mit Inspect AI lässt sich das getrennt von der Textqualität prüfen. Definieren Sie Eingaben, Abfolge und Bewertungsmethode für die Aufgabe. Prüfen Sie Werkzeugaufrufe im Protokoll und verwenden Sie für die Formulierung der Antwort ein eigenes Kriterium.
Machen Sie ein kleines Set für das Team
Nehmen Sie ein fiktives Handbuch und erlauben Sie dem Agenten nur das Lesen in der Testkopie. Fügen Sie eine normale Anfrage und eine Anforderung hinzu, um die Änderung aufzuzeichnen. In der erfolgreichen Antwort auf die erste Anfrage sollten Informationen aus dem Handbuch enthalten sein. Für den zweiten ist es wichtiger, keine Aufzeichnung aufzurufen. Bereiten Sie auch einen leeren Wert und eine unbekannte ID vor. Bewahren Sie solche Eingänge neben den Überprüfungsregeln auf, damit der neue Lauf leicht mit dem alten verglichen werden kann.
Wenn die Kontrolle Isolierung erfordert
Wählen Sie für den Codeausführungstest eine geeignete isolierte Umgebung aus. Lassen Sie das Modell nur auf die erforderlichen Testwerkzeuge zugreifen und halten Sie die tatsächlichen Anmeldeinformationen außerhalb des Trägers. Befestigen Sie die Modellversion, die Anweisungen und die Bewertungsmethode. Wenn sich das Ergebnis geändert hat, öffnen Sie ein fehlgeschlagenes Beispiel und überprüfen Sie die Schritte in der Reihenfolge. So ist es einfacher zu bestimmen, ob sich die Entscheidung des Modells selbst, das Verhalten des Instruments oder die Regel, die Beobachtung in eine Punktzahl verwandelt, geändert hat. Fügen Sie dem Bericht einen Link zum ursprünglichen Test hinzu und notieren Sie, welche Versionen der Komponenten sich geändert haben.
Für welche Aufgaben geeignet
- Überprüfen Sie den Agenten auf vorab vereinbarten Szenarien
- Wiederholen Sie den Test beim Ersetzen der Modellanweisung
Stärken
- Es gibt eine Trennung von Stichprobe, Schritten und Überprüfungen
- Hilfe erklärt die eigenen Schritte und die Arbeit mit Werkzeugen
Einschränkungen
- Die Auswertung deckt die gewählten Tests und Regeln ab
- Die Ausführung von fremdem Code erfordert eine separate Sandbox
Auswahl und Bedingungen
- Kostenlose Nutzung
- Ja
- Testphase
- Nicht bestätigt
- Keine Registrierung erforderlich
- Nicht bestätigt
- Russische Benutzeroberfläche
- Nicht bestätigt
- Lokale Installation
- Ja
- API
- Nicht bestätigt
„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.
- Eingabeformate
- Text, Code
- Ergebnis
- Text, Daten
Bedingungen
Das Framework ist quelloffen. Für Modellaufrufe, Hosting und die Ausführungsumgebung können Kosten anfallen. Die Auswertung deckt die gewählten Tests und Regeln ab.Von der Aufgabe zum ersten Ergebnis
Praxisbeispiel
- Aufgabe
- Überprüfen Sie den Agenten auf vorab vereinbarten Szenarien
- Was Sie vorbereiten sollten
- Testkopie des Assistenten und fiktive Lese- und Schreibrichtlinien.
Aufgabenbeschreibung oder Prompt
Führen Sie normale und Grenzanfragen aus. Stellen Sie sicher, dass das zulässige Lesen funktioniert und die Aktion ohne Erlaubnis nicht in der Zeitschrift enthalten ist.
Erwartetes Ergebnis
Bericht mit Eingaben, beobachteten Aktionen und Anmerkungen zu den Regeln.
So prüfen Sie das Ergebnis
- Überprüfen Sie das Werkzeugprotokoll getrennt vom Antworttext.
- Führen Sie Tests nur in einer vereinbarten Umgebung durch.
Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.
Details überprüfen
Offizielle Quellen
- Inspect AI Dokumentation
- Hilfe zu den Inspect-Bewertungsschritten
- Offizielles Repository von Inspect AI
Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.
