Le test dans Inspect décrit les exemples initiaux, les étapes d'interaction et la vérification des résultats. Pour les tâches d'agent, vous pouvez voir à la fois la réponse et l'action dans le journal.
Quels sont les faits que le test doit montrer
Dans l'assistant de test, le modèle peut déclarer qu'il a mis à jour l'enregistrement, bien que l'outil n'ait pas été appelé du tout. Dans Inspect AI, il est pratique de vérifier ces situations séparément de la qualité du texte. Pour la tâche, spécifiez un ensemble d'entrées, une séquence d'actions et un moyen de définir le résultat. L'état de l'outil d'appel peut être vérifié avec le journal, et la formulation appropriée de la réponse peut être vérifiée avec votre critère.
Faites un petit ensemble pour l'équipe
Prenez un manuel fictif et autorisez l'agent à lire seulement dans la copie de test. Ajoutez une requête normale et demandez d'enregistrer la modification. La réponse à la première demande doit contenir des informations tirées du manuel. Pour le second, l'absence d'appel est plus importante. Préparez également une valeur vide et un identifiant inconnu. Conservez ces entrées à côté des règles de contrôle afin que la nouvelle passe soit facilement comparée à l'ancienne.
Quand la vérification a besoin d'isolation
Pour le test d'exécution de code, sélectionnez l'environnement isolé approprié. Ne laissez le modèle que les outils de test nécessaires et gardez les informations d'identification réelles hors du parcours. Fixez la version du modèle, les instructions et la méthode d'évaluation. Si le résultat a changé, ouvrez un mauvais exemple et vérifiez les étapes dans l'ordre. Il est donc plus facile de déterminer si la décision du modèle lui-même, le comportement de l'instrument ou la règle qui transforme l'observation en point. Ajoutez un lien vers le test source et notez les versions des composants qui ont changé.
Pour quelles tâches convient-il
- Vérifier l'agent sur les scénarios pré-conçus
- Répéter le test en remplaçant les instructions du modèle
Les points forts
- Il y a une séparation de l'échantillonnage, des étapes et de la vérification
- L'aide explique vos propres étapes et le travail avec les outils
Limites
- L'évaluation est limitée aux tests et règles sélectionnés
- L'exécution du code d'un autre nécessite une isolation séparée.
Choix et conditions
- Mode gratuit
- Oui
- Période d'essai
- Non confirmé
- Sans inscription
- Non confirmé
- Interface en russe
- Non confirmé
- Installation locale
- Oui
- API
- Non confirmé
« Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur.
- Formats d’entrée
- Texte, Code
- Résultat
- Texte, Données
Conditions
Cadre ouvert. Les coûts peuvent survenir lors de l'appel des modèles, de l'emplacement et du fonctionnement de l'environnement d'exécution. L'évaluation est limitée aux tests et règles sélectionnés.De la tâche au premier résultat
Exemple pratique
- Tâche
- Vérifier l'agent sur les scénarios pré-conçus
- Que préparer
- Une copie de test de l'Assistant et une stratégie de lecture et d'écriture fictive.
Consigne ou requête
Lancez les requêtes normales et limites. Vérifiez que la lecture autorisée fonctionne et que l'action sans autorisation n'est pas dans le journal.
Résultat attendu
Rapport avec les entrées, les actions observées et les commentaires sur les règles.
Comment vérifier le résultat
- Vérifiez le journal de l'outil séparément du texte de la réponse.
- Ne testez que dans un environnement cohérent.
Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat.
Vérifier les détails
Sources officielles
La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser.
