Promptfoo führt Eingabe- und Prüfsätze für AI-Anwendungen aus. Es kann verwendet werden, um Änderungen zu bewerten und die vereinbarten Regeln in Ihrer Umgebung zu überprüfen.
Überprüfen Sie nicht nur die Ablehnung
Der Agent kann höflich antworten, dass er nichts geändert hat, obwohl das Tool bereits einen Befehl gesendet hat. In Promptfoo können Sie Skripte erstellen, die die Antwort und die verfügbaren Fortschrittszertifikate überprüfen. Nehmen Sie für den ersten Lauf Ihre Testanwendung und den Stecker des externen Werkzeugs mit. Bestimmen Sie, welche Operationen zulässig sind, und speichern Sie das Anrufprotokoll. Dann hängt die Schlussfolgerung nicht nur von der Glaubwürdigkeit des Modelltextes ab.
Die Ausbildungsgrenze der Autorität
Der Testassistent darf den Bestellstatus lesen. Änderungen erfordern eine manuelle Freigabe. Stellen Sie eine normale Statusfrage, eine mehrdeutige Bitte und eine ausdrückliche Änderungsanfrage. Prüfen Sie die Antwort und die Zahl der Aufrufe des Schreibwerkzeugs. Wiederholen Sie den Test nach einem Modellwechsel mit denselben Daten. Die erlaubten Lesezugriffe sollen auch nach der Korrektur unsicheren Verhaltens funktionieren.
Was macht die Überprüfung wiederholbar?
Speichern Sie die Eingaben, die erwarteten Ergebnisse und die App-Version zusammen. Wenn das Ergebnis von einem anderen Modell ausgewertet wird, überprüfen Sie die umstrittenen Fälle manuell. Verwenden Sie für ein strukturiertes Signal, z. B. einen Log-Eintrag, eine genaue Überprüfung im Code. Der Test umfasst die vorgegebenen Situationen. Fügen Sie neue Beispiele für reale Änderungen an Rollen und Werkzeugen hinzu, während Sie die Berechtigung zur Überprüfung und die Grenzen der Testumgebung beibehalten. Markieren Sie für jeden Start, welchen Zugriff der Agent tatsächlich erhalten hat. Wiederholen Sie das Szenario mit einer anderen Rolle, wenn die Anwendung mehrere Benutzergruppen bedient.
Für welche Aufgaben geeignet
- Überprüfen, ob der Testagent nur die zulässigen Aktionen ausführt
- Vergleichen Sie die Ergebnisse zweier Konfigurationen in einem Satz
Stärken
- Unterstützt reproduzierbare Test- und Ergebnisvalidierungssätze
- Es gibt offizielle Integrations- und Bewertungsrichtlinien
Einschränkungen
- Sie können nur Ihre App oder eine explizit zugelassene Umgebung überprüfen
- Textbewertung ersetzt nicht die Überprüfung externer Aktionen und Rollen
Auswahl und Bedingungen
- Kostenlose Nutzung
- Ja
- Testphase
- Nicht bestätigt
- Keine Registrierung erforderlich
- Nicht bestätigt
- Russische Benutzeroberfläche
- Nicht bestätigt
- Lokale Installation
- Ja
- API
- Nicht bestätigt
„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.
- Eingabeformate
- Text, Code
- Ergebnis
- Text, Daten
Bedingungen
Die öffentliche Bibliothek ist ohne Abonnement verfügbar. Herausforderungen, Berechnungen und verwaltete Fähigkeiten werden separat berücksichtigt. Sie können nur Ihre App oder die explizit zugelassene Umgebung überprüfen.Von der Aufgabe zum ersten Ergebnis
Praxisbeispiel
- Aufgabe
- Überprüfen, ob der Testagent nur die zulässigen Aktionen ausführt
- Was Sie vorbereiten sollten
- Testkopie des Assistenten und fiktive Lese- und Schreibrichtlinien.
Aufgabenbeschreibung oder Prompt
Führen Sie normale und Grenzanfragen aus. Stellen Sie sicher, dass das zulässige Lesen funktioniert und die Aktion ohne Erlaubnis nicht in der Zeitschrift enthalten ist.
Erwartetes Ergebnis
Bericht mit Eingaben, beobachteten Aktionen und Anmerkungen zu den Regeln.
So prüfen Sie das Ergebnis
- Überprüfen Sie das Werkzeugprotokoll getrennt vom Antworttext.
- Führen Sie Tests nur in einer vereinbarten Umgebung durch.
Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.
Details überprüfen
Offizielle Quellen
Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.
