Canonical: https://instain.ru/de/ai/promptfoo/ Language: de OpenAI Sicherheitsüberprüfungs-Tool für AI-Anwendungen # Promptfoo. Wiederholbare Verhaltenstests für Anwendungen mit Sprachmodellen 4.40 / 5 [Katalogbewertung](https://instain.ru/de/ai/promptfoo/#editorial-rating) [Offizielle Website ](https://developers.openai.com/api/docs/guides/promptfoo-codex) Promptfoo führt Eingabe- und Prüfsätze für AI-Anwendungen aus. Es kann verwendet werden, um Änderungen zu bewerten und die vereinbarten Regeln in Ihrer Umgebung zu überprüfen. ![OpenAI-Handbuch mit Beispielbericht Promptfoo](https://instain.ru/assets/images/promptfoo-screen-a04439ab6fe4-1200.webp) OpenAI-Handbuch mit einem Beispiel für den Promptfoo-Bericht. [Quelle öffnen ](https://developers.openai.com/api/docs/guides/promptfoo-codex) ## Überprüfen Sie nicht nur die Ablehnung Der Agent kann höflich antworten, dass er nichts geändert hat, obwohl das Tool bereits einen Befehl gesendet hat. In Promptfoo können Sie Skripte erstellen, die die Antwort und die verfügbaren Fortschrittszertifikate überprüfen. Nehmen Sie für den ersten Lauf Ihre Testanwendung und den Stecker des externen Werkzeugs mit. Bestimmen Sie, welche Operationen zulässig sind, und speichern Sie das Anrufprotokoll. Dann hängt die Schlussfolgerung nicht nur von der Glaubwürdigkeit des Modelltextes ab. ## Die Ausbildungsgrenze der Autorität Der Testassistent darf den Bestellstatus lesen. Änderungen erfordern eine manuelle Freigabe. Stellen Sie eine normale Statusfrage, eine mehrdeutige Bitte und eine ausdrückliche Änderungsanfrage. Prüfen Sie die Antwort und die Zahl der Aufrufe des Schreibwerkzeugs. Wiederholen Sie den Test nach einem Modellwechsel mit denselben Daten. Die erlaubten Lesezugriffe sollen auch nach der Korrektur unsicheren Verhaltens funktionieren. ## Was macht die Überprüfung wiederholbar? Speichern Sie die Eingaben, die erwarteten Ergebnisse und die App-Version zusammen. Wenn das Ergebnis von einem anderen Modell ausgewertet wird, überprüfen Sie die umstrittenen Fälle manuell. Verwenden Sie für ein strukturiertes Signal, z. B. einen Log-Eintrag, eine genaue Überprüfung im Code. Der Test umfasst die vorgegebenen Situationen. Fügen Sie neue Beispiele für reale Änderungen an Rollen und Werkzeugen hinzu, während Sie die Berechtigung zur Überprüfung und die Grenzen der Testumgebung beibehalten. Markieren Sie für jeden Start, welchen Zugriff der Agent tatsächlich erhalten hat. Wiederholen Sie das Szenario mit einer anderen Rolle, wenn die Anwendung mehrere Benutzergruppen bedient. ## Für welche Aufgaben geeignet - Überprüfen, ob der Testagent nur die zulässigen Aktionen ausführt - Vergleichen Sie die Ergebnisse zweier Konfigurationen in einem Satz Funktionen ## Stärken - Unterstützt reproduzierbare Test- und Ergebnisvalidierungssätze - Es gibt offizielle Integrations- und Bewertungsrichtlinien Zu berücksichtigen ## Einschränkungen - Sie können nur Ihre App oder eine explizit zugelassene Umgebung überprüfen - Textbewertung ersetzt nicht die Überprüfung externer Aktionen und Rollen ## Auswahl und Bedingungen Kostenlose Nutzung Ja Testphase Nicht bestätigt Keine Registrierung erforderlich Nicht bestätigt Russische Benutzeroberfläche Nicht bestätigt Lokale Installation Ja API Nicht bestätigt „Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers. Eingabeformate Text, Code Ergebnis Text, Daten ### Bedingungen Die öffentliche Bibliothek ist ohne Abonnement verfügbar. Herausforderungen, Berechnungen und verwaltete Fähigkeiten werden separat berücksichtigt. Sie können nur Ihre App oder die explizit zugelassene Umgebung überprüfen. Von der Aufgabe zum ersten Ergebnis ## Praxisbeispiel Aufgabe Überprüfen, ob der Testagent nur die zulässigen Aktionen ausführt Was Sie vorbereiten sollten Testkopie des Assistenten und fiktive Lese- und Schreibrichtlinien. ### Aufgabenbeschreibung oder Prompt Führen Sie normale und Grenzanfragen aus. Stellen Sie sicher, dass das zulässige Lesen funktioniert und die Aktion ohne Erlaubnis nicht in der Zeitschrift enthalten ist. ### Erwartetes Ergebnis Bericht mit Eingaben, beobachteten Aktionen und Anmerkungen zu den Regeln. ### So prüfen Sie das Ergebnis - Überprüfen Sie das Werkzeugprotokoll getrennt vom Antworttext. - Führen Sie Tests nur in einer vereinbarten Umgebung durch. Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses. Details überprüfen ## Offizielle Quellen - [OpenAI-Leitfaden zu Promptfoo ](https://developers.openai.com/api/docs/guides/promptfoo-codex) - [Offizielle Einführung in Promptfoo ](https://www.promptfoo.dev/docs/intro/) Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung. Das Tool im Überblick Entwickler OpenAI Kategorie [Code](https://instain.ru/de/category/code/) Zugang Das geöffnete Werkzeug wird aus dem Projekt gestartet. Für die Überprüfungen werden eine Testanwendung und gegebenenfalls ein Bewertungsmodell angeschlossen. Zahlung Die öffentliche Bibliothek ist ohne Abonnement verfügbar. Herausforderungen, Berechnungen und verwaltete Fähigkeiten werden separat berücksichtigt. API Keine separate API angegeben [Entwicklerbedingungen ](https://www.promptfoo.dev/docs/intro/) Katalogbewertung 4.40 / 5 Funktionen 4.50 / 5 Arbeitsszenarien 4.10 / 5 Ökosystem 4.40 / 5 Dokumentation 4.60 / 5 Die Punkte dienen der Orientierung im Katalog. Sie sind weder Nutzerbewertungen noch Ergebnisse persönlicher Tests. [Siehe Methodik ](https://instain.ru/de/methodology/) Weiter erkunden ## Für ähnliche Aufgaben [Gesamte Kategorie ](https://instain.ru/de/category/code/) Code ### [Inspect AI](https://instain.ru/de/ai/inspect-ai/) Aufgaben mit festgelegten Eingaben, Schritten und Ergebnisprüfungen 4.38 / 5 Framework zur Bewertung von Sprachmodellen Ähnliche Aufgaben; vergleichen Sie Bedingungen, Formate und Einschränkungen Code ### [NVIDIA NeMo Guardrails](https://instain.ru/de/ai/nvidia-nemo-guardrails/) Programmierbare Regeln für Eingaben, Ausgaben und Modellaktionen 4.30 / 5 Regelbibliothek für Anwendungen mit Modellen Ähnliche Aufgaben; vergleichen Sie Bedingungen, Formate und Einschränkungen