Canonical: https://instain.ru/fr/ai/deepeval/ Language: fr Confident AI Cadre de vérification de régression des modèles # DeepEval. Exemples de test et métriques de qualité pour les applications LLM 4.30 / 5 [Évaluation du catalogue](https://instain.ru/fr/ai/deepeval/#editorial-rating) [Site officiel ](https://github.com/confident-ai/deepeval) Dans DeepEval, vous pouvez collecter des cas de test avec entrée, réponse et critères. Une partie de la métrique utilise un modèle différent, vous devez donc vérifier les seuils avec des exemples. ![Le référentiel DeepEval avec la description des tests pour les applications avec LLM](https://instain.ru/assets/images/deepeval-screen-59304247a090-1200.webp) Le référentiel DeepEval avec la description des tests pour les applications avec LLM. [Ouvrir la source ](https://github.com/confident-ai/deepeval) ## Comment détecter une régression silencieuse Après avoir modifié les instructions, l'assistant répond plus brièvement, mais a commencé à ignorer une exception importante. DeepEval aide à transformer un tel cas en un test répété. Sauvegardez la question, le matériel d'origine et la condition attendue. Si vous avez besoin d'un évaluateur basé sur un modèle pour les métriques, vérifiez-le d'abord avec quelques réponses marquées. L’expression « évaluer la qualité » est trop large. Par exemple, il est important de savoir si une exception est mentionnée lorsqu'elle s'applique à une entrée particulière. ## Deux réponses avec un début similaire Faites la bonne réponse, une réponse avec une condition perdue et une réponse avec une déclaration qui n'est pas dans la source. Exécutez la vérification sélectionnée et comparez sa solution avec l'étiquette manuelle. Si le critère omet une erreur, précisez-le ou ajoutez une règle distincte. Incluez plusieurs exemples de frontière après la configuration afin de ne pas ajuster le seuil pour la première sélection. Si vous avez une nouvelle version de l'instruction, faites le même ensemble. Gardez les notes au niveau des questions individuelles, sinon une moyenne cachera le changement. ## Lorsque la vérification avec le modèle est appropriée Il est préférable de vérifier le champ obligatoire précis par programme si vous pouvez l'extraire de manière fiable. Le modèle d'évaluation est utile pour les signes sémantiques, mais son jugement vaut la peine d'être révisé par échantillonnage. Notez la version de l'évaluateur, les paramètres et le prix du parcours dans la configuration utilisée. Si le résultat fluctue autour du seuil, analysez les réponses spécifiques avant de rendre le test obligatoire. Conservez la description de chaque métrique avec le kit de test. ## Pour quelles tâches convient-il - Suivre la détérioration des réponses après avoir modifié les instructions - Vérifier l'adéquation de la métrique sélectionnée sur des exemples balisés Fonctionnalités ## Les points forts - Documente les cas de test et les options métriques - Prend en charge les parcours de test de la ligne de commande Il faut prendre en compte ## Limites - Le modèle évaluateur peut se tromper et changer de jugement entre deux appels - Vérifiez critères et seuils avec des exemples évalués manuellement ## Choix et conditions Mode gratuit Oui Période d'essai Non confirmé Sans inscription Non confirmé Interface en russe Non confirmé Installation locale Oui API Non confirmé « Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur. Formats d’entrée Texte, Données Résultat Données, Texte ### Conditions La bibliothèque ouverte n'a pas de tarif obligatoire. Les défis du modèle d’évaluation et les fonctionnalités de la plate-forme cloud sont pris en compte séparément. Le modèle évaluateur peut se tromper et changer de jugement entre deux appels. De la tâche au premier résultat ## Exemple pratique Tâche Suivre la détérioration des réponses après avoir modifié les instructions Que préparer Questions de formation, conditions attendues, réponses correctes et erronées. ### Consigne ou requête Évaluez les réponses sur un critère approuvé. Répétez le parcours après avoir modifié les instructions et montrez les cas où l'évaluation a changé. ### Résultat attendu Liste des régressions avec des estimations et des exemples vérifiables. ### Comment vérifier le résultat - Vérifiez les notes avec le marquage manuel. - Laissez quelques cas limites en dehors du seuil de réglage. Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat. Vérifier les détails ## Sources officielles - [Le référentiel DeepEval ](https://github.com/confident-ai/deepeval) - [Guide des métriques DeepEval ](https://deepeval.com/docs/metrics-introduction) - [Conditions d'accès à DeepEval et Confident AI ](https://deepeval.com/docs/faq) La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser. En bref sur l'outil Développeur Confident AI Catégorie [Code](https://instain.ru/fr/category/code/) Accès La bibliothèque ouverte est lancée dans le projet Python. Les métriques avec le modèle nécessitent la configuration d'un évaluateur compatible et le service géré est connecté séparément. Paiement La bibliothèque ouverte n'a pas de tarif obligatoire. Les défis du modèle d’évaluation et les fonctionnalités de la plate-forme cloud sont pris en compte séparément. API API non spécifiée [Termes du développeur ](https://deepeval.com/docs/faq) Évaluation du catalogue 4.30 / 5 Fonctionnalités 4.40 / 5 Scénarios de travail 4.20 / 5 Écosystème 4.20 / 5 Documentation 4.40 / 5 Les points sont le repère du catalogue. Ce ne sont pas des commentaires d'utilisateurs ou le résultat de tests personnels. [Voir la méthodologie ](https://instain.ru/fr/methodology/) Poursuivre la découverte ## Pour des tâches similaires [Toute la catégorie ](https://instain.ru/fr/category/code/) Code ### [Ragas](https://instain.ru/fr/ai/ragas/) Évaluation du lien de réponse avec le contexte de recherche 4.35 / 5 Bibliothèque d'évaluation des réponses des modèles Tâches similaires ; comparez les conditions, les formats et les limites