Canonical: https://instain.ru/de/ai/deepeval/ Language: de Confident AI Rahmenwerk Regressionsprüfungen Modelle # DeepEval. Testfälle und Qualitätsmetriken für Anwendungen mit Sprachmodellen 4.30 / 5 [Katalogbewertung](https://instain.ru/de/ai/deepeval/#editorial-rating) [Offizielle Website ](https://github.com/confident-ai/deepeval) In DeepEval können Sie Testfälle mit Eingabe, Antwort und Kriterien sammeln. Einige Metriken verwenden ein anderes Modell, daher müssen die Schwellenwerte mit Beispielen verglichen werden. ![DeepEval-Repository mit Testbeschreibungen für LLM-Anwendungen](https://instain.ru/assets/images/deepeval-screen-59304247a090-1200.webp) DeepEval-Repository mit Testbeschreibungen für LLM-Anwendungen. [Quelle öffnen ](https://github.com/confident-ai/deepeval) ## Wie man eine stille Regression bemerkt Nach dem Bearbeiten der Anweisungen antwortet der Assistent kürzer, überspringt jedoch eine wichtige Ausnahme. DeepEval hilft, einen solchen Fall in einen wiederholten Test zu verwandeln. Speichern Sie die Frage, das Ausgangsmaterial und die erwartete Bedingung. Wenn eine Metrik einen modellbasierten Gutachter benötigt, überprüfen Sie dies zunächst auf ein paar Antworten mit einem bekannten Markup. Der BegriffQualität“ ist zu weit gefasst. Zum Beispiel ist es wichtig herauszufinden, ob eine Ausnahme erwähnt wird, wenn sie auf einen bestimmten Eingang angewendet wird. ## Zwei Antworten mit ähnlichem Anfang Machen Sie die richtige Antwort, die Antwort mit der verlorenen Bedingung und die Antwort mit einer Aussage, die nicht in der Quelle ist. Führen Sie die ausgewählte Überprüfung durch und vergleichen Sie die Lösung mit einem manuellen Etikett. Wenn ein Kriterium einen Fehler überspringt, spezifizieren Sie ihn oder fügen Sie eine separate Regel hinzu. Fügen Sie nach der Einrichtung einige Grenzbeispiele hinzu, um die Schwelle nicht an die erste Auswahl anzupassen. Bei der neuen Version der Anleitung, werfen Sie den gleichen Satz. Behalten Sie die Bewertungen auf der Ebene der einzelnen Fragen, sonst wird ein Durchschnittswert die Änderungen verbergen. ## Wann ist die Überprüfung des Modells angemessen? Ein genaues Pflichtfeld sollte am besten programmgesteuert überprüft werden, wenn es zuverlässig extrahiert werden kann. Das Bewertungsmodell ist für semantische Zeichen nützlich, aber sein Urteil sollte durch Stichprobe überprüft werden. Notieren Sie sich die Version des Auswerters, die Parameter und den Preis des Laufs in der verwendeten Konfiguration. Wenn das Ergebnis in der Nähe der Schwelle schwankt, analysieren Sie die spezifischen Antworten, bevor Sie den Test zur obligatorischen Freigabeüberprüfung machen. Bewahren Sie die Beschreibung der einzelnen Metriken zusammen mit dem Testkit auf. ## Für welche Aufgaben geeignet - Verschlechterte Antworten nach dem Bearbeiten der Anweisungen verfolgen - Überprüfen Sie die Eignung der ausgewählten Metrik anhand der markierten Beispiele Funktionen ## Stärken - Dokumentiert Testfälle und Metrikoptionen - Unterstützt Testläufe von der Befehlszeile Zu berücksichtigen ## Einschränkungen - Das Bewertungsmodell kann Fehler machen und zwischen Aufrufen anders entscheiden - Prüfen Sie Kriterien und Schwellenwerte mit manuell bewerteten Beispielen ## Auswahl und Bedingungen Kostenlose Nutzung Ja Testphase Nicht bestätigt Keine Registrierung erforderlich Nicht bestätigt Russische Benutzeroberfläche Nicht bestätigt Lokale Installation Ja API Nicht bestätigt „Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers. Eingabeformate Text, Daten Ergebnis Daten, Text ### Bedingungen Die Bibliothek hat keinen Pflichttarif. Die Herausforderungen des Bewertungsmodells und die Funktionen der Cloud-Plattform werden separat berücksichtigt. Das Bewertungsmodell kann Fehler machen und zwischen Aufrufen anders entscheiden. Von der Aufgabe zum ersten Ergebnis ## Praxisbeispiel Aufgabe Verschlechterte Antworten nach dem Bearbeiten der Anweisungen verfolgen Was Sie vorbereiten sollten Lernfragen, erwartete Bedingungen, richtige und falsche Antworten. ### Aufgabenbeschreibung oder Prompt Bewerten Sie die Antworten nach einem genehmigten Kriterium. Wiederholen Sie dies, nachdem Sie die Anweisungen geändert haben, und zeigen Sie die Fälle an, in denen sich die Bewertung geändert hat. ### Erwartetes Ergebnis Eine Liste von Regressionen mit Bewertungen und überprüfbaren Beispielen. ### So prüfen Sie das Ergebnis - Überprüfen Sie die Bewertungen mit manuellen Markup. - Lassen Sie einige Grenzfälle außerhalb der Schwelleneinstellung. Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses. Details überprüfen ## Offizielle Quellen - [Offizielles Repository von DeepEval ](https://github.com/confident-ai/deepeval) - [DeepEval Metrik-Handbuch ](https://deepeval.com/docs/metrics-introduction) - [Zugang zu DeepEval und Confident AI ](https://deepeval.com/docs/faq) Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung. Das Tool im Überblick Entwickler Confident AI Kategorie [Code](https://instain.ru/de/category/code/) Zugang Die offene Bibliothek wird im Python-Projekt gestartet. Metriken mit dem Modell erfordern die Konfiguration eines kompatiblen Gutachters, und der verwaltete Dienst ist separat verbunden. Zahlung Die Bibliothek hat keinen Pflichttarif. Die Herausforderungen des Bewertungsmodells und die Funktionen der Cloud-Plattform werden separat berücksichtigt. API Keine separate API angegeben [Entwicklerbedingungen ](https://deepeval.com/docs/faq) Katalogbewertung 4.30 / 5 Funktionen 4.40 / 5 Arbeitsszenarien 4.20 / 5 Ökosystem 4.20 / 5 Dokumentation 4.40 / 5 Die Punkte dienen der Orientierung im Katalog. Sie sind weder Nutzerbewertungen noch Ergebnisse persönlicher Tests. [Siehe Methodik ](https://instain.ru/de/methodology/) Weiter erkunden ## Für ähnliche Aufgaben [Gesamte Kategorie ](https://instain.ru/de/category/code/) Code ### [Ragas](https://instain.ru/de/ai/ragas/) Prüfung, ob eine Antwort durch den gefundenen Kontext gestützt wird 4.35 / 5 Bibliothek zur Bewertung von Modellantworten Ähnliche Aufgaben; vergleichen Sie Bedingungen, Formate und Einschränkungen