Canonical: https://instain.ru/de/ai/inspect-ai/ Language: de UK AI Security Institute Framework zur Bewertung von Sprachmodellen # Inspect AI. Aufgaben mit festgelegten Eingaben, Schritten und Ergebnisprüfungen 4.38 / 5 [Katalogbewertung](https://instain.ru/de/ai/inspect-ai/#editorial-rating) [Offizielle Website ](https://inspect.aisi.org.uk/) Der Test in Inspect beschreibt die ersten Beispiele, Interaktionsschritte und die Ergebnisüberprüfung. Für Agent-Aufgaben können Sie sowohl die Antwort als auch die Aktionen im Journal sehen. ![Inspect AI-Handbuch mit einer Überprüfung der Rekrutierung, Schritte und Auswertung](https://instain.ru/assets/images/inspect-ai-screen-d66a7f2f6114-1200.webp) Ein Inspect AI-Handbuch mit einem Überblick über Rekrutierung, Schritte und Bewertung. [Quelle öffnen ](https://inspect.aisi.org.uk/) ## Welche Fakten sollte der Test zeigen Ein Testassistent kann behaupten, einen Eintrag aktualisiert zu haben, obwohl das Modell das Werkzeug nie aufgerufen hat. Mit Inspect AI lässt sich das getrennt von der Textqualität prüfen. Definieren Sie Eingaben, Abfolge und Bewertungsmethode für die Aufgabe. Prüfen Sie Werkzeugaufrufe im Protokoll und verwenden Sie für die Formulierung der Antwort ein eigenes Kriterium. ## Machen Sie ein kleines Set für das Team Nehmen Sie ein fiktives Handbuch und erlauben Sie dem Agenten nur das Lesen in der Testkopie. Fügen Sie eine normale Anfrage und eine Anforderung hinzu, um die Änderung aufzuzeichnen. In der erfolgreichen Antwort auf die erste Anfrage sollten Informationen aus dem Handbuch enthalten sein. Für den zweiten ist es wichtiger, keine Aufzeichnung aufzurufen. Bereiten Sie auch einen leeren Wert und eine unbekannte ID vor. Bewahren Sie solche Eingänge neben den Überprüfungsregeln auf, damit der neue Lauf leicht mit dem alten verglichen werden kann. ## Wenn die Kontrolle Isolierung erfordert Wählen Sie für den Codeausführungstest eine geeignete isolierte Umgebung aus. Lassen Sie das Modell nur auf die erforderlichen Testwerkzeuge zugreifen und halten Sie die tatsächlichen Anmeldeinformationen außerhalb des Trägers. Befestigen Sie die Modellversion, die Anweisungen und die Bewertungsmethode. Wenn sich das Ergebnis geändert hat, öffnen Sie ein fehlgeschlagenes Beispiel und überprüfen Sie die Schritte in der Reihenfolge. So ist es einfacher zu bestimmen, ob sich die Entscheidung des Modells selbst, das Verhalten des Instruments oder die Regel, die Beobachtung in eine Punktzahl verwandelt, geändert hat. Fügen Sie dem Bericht einen Link zum ursprünglichen Test hinzu und notieren Sie, welche Versionen der Komponenten sich geändert haben. ## Für welche Aufgaben geeignet - Überprüfen Sie den Agenten auf vorab vereinbarten Szenarien - Wiederholen Sie den Test beim Ersetzen der Modellanweisung Funktionen ## Stärken - Es gibt eine Trennung von Stichprobe, Schritten und Überprüfungen - Hilfe erklärt die eigenen Schritte und die Arbeit mit Werkzeugen Zu berücksichtigen ## Einschränkungen - Die Auswertung deckt die gewählten Tests und Regeln ab - Die Ausführung von fremdem Code erfordert eine separate Sandbox ## Auswahl und Bedingungen Kostenlose Nutzung Ja Testphase Nicht bestätigt Keine Registrierung erforderlich Nicht bestätigt Russische Benutzeroberfläche Nicht bestätigt Lokale Installation Ja API Nicht bestätigt „Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers. Eingabeformate Text, Code Ergebnis Text, Daten ### Bedingungen Das Framework ist quelloffen. Für Modellaufrufe, Hosting und die Ausführungsumgebung können Kosten anfallen. Die Auswertung deckt die gewählten Tests und Regeln ab. Von der Aufgabe zum ersten Ergebnis ## Praxisbeispiel Aufgabe Überprüfen Sie den Agenten auf vorab vereinbarten Szenarien Was Sie vorbereiten sollten Testkopie des Assistenten und fiktive Lese- und Schreibrichtlinien. ### Aufgabenbeschreibung oder Prompt Führen Sie normale und Grenzanfragen aus. Stellen Sie sicher, dass das zulässige Lesen funktioniert und die Aktion ohne Erlaubnis nicht in der Zeitschrift enthalten ist. ### Erwartetes Ergebnis Bericht mit Eingaben, beobachteten Aktionen und Anmerkungen zu den Regeln. ### So prüfen Sie das Ergebnis - Überprüfen Sie das Werkzeugprotokoll getrennt vom Antworttext. - Führen Sie Tests nur in einer vereinbarten Umgebung durch. Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses. Details überprüfen ## Offizielle Quellen - [Inspect AI Dokumentation ](https://inspect.aisi.org.uk/) - [Hilfe zu den Inspect-Bewertungsschritten ](https://inspect.aisi.org.uk/solvers.html) - [Offizielles Repository von Inspect AI ](https://github.com/UKGovernmentBEIS/inspect_ai) Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung. Das Tool im Überblick Entwickler UK AI Security Institute Kategorie [Code](https://instain.ru/de/category/code/) Zugang Sie benötigen Python, eine Testdefinition und ein Modell. Manche Szenarien erfordern eine separat eingerichtete Ausführungsumgebung. Zahlung Das Framework ist quelloffen. Für Modellaufrufe, Hosting und die Ausführungsumgebung können Kosten anfallen. API Keine separate API angegeben [Entwicklerbedingungen ](https://github.com/UKGovernmentBEIS/inspect_ai) Katalogbewertung 4.38 / 5 Funktionen 4.40 / 5 Arbeitsszenarien 4.10 / 5 Ökosystem 4.40 / 5 Dokumentation 4.60 / 5 Die Punkte dienen der Orientierung im Katalog. Sie sind weder Nutzerbewertungen noch Ergebnisse persönlicher Tests. [Siehe Methodik ](https://instain.ru/de/methodology/) Weiter erkunden ## Für ähnliche Aufgaben [Gesamte Kategorie ](https://instain.ru/de/category/code/) Code ### [Promptfoo](https://instain.ru/de/ai/promptfoo/) Wiederholbare Verhaltenstests für Anwendungen mit Sprachmodellen 4.40 / 5 Sicherheitsüberprüfungs-Tool für AI-Anwendungen Ähnliche Aufgaben; vergleichen Sie Bedingungen, Formate und Einschränkungen Code ### [NVIDIA NeMo Guardrails](https://instain.ru/de/ai/nvidia-nemo-guardrails/) Programmierbare Regeln für Eingaben, Ausgaben und Modellaktionen 4.30 / 5 Regelbibliothek für Anwendungen mit Modellen Ähnliche Aufgaben; vergleichen Sie Bedingungen, Formate und Einschränkungen