Dans DeepEval, vous pouvez collecter des cas de test avec entrée, réponse et critères. Une partie de la métrique utilise un modèle différent, vous devez donc vérifier les seuils avec des exemples.
Comment détecter une régression silencieuse
Après avoir modifié les instructions, l'assistant répond plus brièvement, mais a commencé à ignorer une exception importante. DeepEval aide à transformer un tel cas en un test répété. Sauvegardez la question, le matériel d'origine et la condition attendue. Si vous avez besoin d'un évaluateur basé sur un modèle pour les métriques, vérifiez-le d'abord avec quelques réponses marquées. L’expression « évaluer la qualité » est trop large. Par exemple, il est important de savoir si une exception est mentionnée lorsqu'elle s'applique à une entrée particulière.
Deux réponses avec un début similaire
Faites la bonne réponse, une réponse avec une condition perdue et une réponse avec une déclaration qui n'est pas dans la source. Exécutez la vérification sélectionnée et comparez sa solution avec l'étiquette manuelle. Si le critère omet une erreur, précisez-le ou ajoutez une règle distincte. Incluez plusieurs exemples de frontière après la configuration afin de ne pas ajuster le seuil pour la première sélection.
Si vous avez une nouvelle version de l'instruction, faites le même ensemble. Gardez les notes au niveau des questions individuelles, sinon une moyenne cachera le changement.
Lorsque la vérification avec le modèle est appropriée
Il est préférable de vérifier le champ obligatoire précis par programme si vous pouvez l'extraire de manière fiable. Le modèle d'évaluation est utile pour les signes sémantiques, mais son jugement vaut la peine d'être révisé par échantillonnage. Notez la version de l'évaluateur, les paramètres et le prix du parcours dans la configuration utilisée. Si le résultat fluctue autour du seuil, analysez les réponses spécifiques avant de rendre le test obligatoire. Conservez la description de chaque métrique avec le kit de test.
Pour quelles tâches convient-il
- Suivre la détérioration des réponses après avoir modifié les instructions
- Vérifier l'adéquation de la métrique sélectionnée sur des exemples balisés
Les points forts
- Documente les cas de test et les options métriques
- Prend en charge les parcours de test de la ligne de commande
Limites
- Le modèle évaluateur peut se tromper et changer de jugement entre deux appels
- Vérifiez critères et seuils avec des exemples évalués manuellement
Choix et conditions
- Mode gratuit
- Oui
- Période d'essai
- Non confirmé
- Sans inscription
- Non confirmé
- Interface en russe
- Non confirmé
- Installation locale
- Oui
- API
- Non confirmé
« Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur.
- Formats d’entrée
- Texte, Données
- Résultat
- Données, Texte
Conditions
La bibliothèque ouverte n'a pas de tarif obligatoire. Les défis du modèle d’évaluation et les fonctionnalités de la plate-forme cloud sont pris en compte séparément. Le modèle évaluateur peut se tromper et changer de jugement entre deux appels.De la tâche au premier résultat
Exemple pratique
- Tâche
- Suivre la détérioration des réponses après avoir modifié les instructions
- Que préparer
- Questions de formation, conditions attendues, réponses correctes et erronées.
Consigne ou requête
Évaluez les réponses sur un critère approuvé. Répétez le parcours après avoir modifié les instructions et montrez les cas où l'évaluation a changé.
Résultat attendu
Liste des régressions avec des estimations et des exemples vérifiables.
Comment vérifier le résultat
- Vérifiez les notes avec le marquage manuel.
- Laissez quelques cas limites en dehors du seuil de réglage.
Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat.
Vérifier les détails
Sources officielles
La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser.
