Canonical: https://instain.ru/fr/ai/inspect-ai/ Language: fr UK AI Security Institute Cadre d'évaluation des modèles linguistiques # Inspect AI. Tâches avec un ensemble d'entrées, une procédure d'action et une vérification des résultats 4.38 / 5 [Évaluation du catalogue](https://instain.ru/fr/ai/inspect-ai/#editorial-rating) [Site officiel ](https://inspect.aisi.org.uk/) Le test dans Inspect décrit les exemples initiaux, les étapes d'interaction et la vérification des résultats. Pour les tâches d'agent, vous pouvez voir à la fois la réponse et l'action dans le journal. ![Manuel Inspect AI avec un aperçu de l'ensemble, des étapes et de l'évaluation](https://instain.ru/assets/images/inspect-ai-screen-d66a7f2f6114-1200.webp) Manuel Inspect AI avec un aperçu de l'ensemble, des étapes et de l'évaluation. [Ouvrir la source ](https://inspect.aisi.org.uk/) ## Quels sont les faits que le test doit montrer Dans l'assistant de test, le modèle peut déclarer qu'il a mis à jour l'enregistrement, bien que l'outil n'ait pas été appelé du tout. Dans Inspect AI, il est pratique de vérifier ces situations séparément de la qualité du texte. Pour la tâche, spécifiez un ensemble d'entrées, une séquence d'actions et un moyen de définir le résultat. L'état de l'outil d'appel peut être vérifié avec le journal, et la formulation appropriée de la réponse peut être vérifiée avec votre critère. ## Faites un petit ensemble pour l'équipe Prenez un manuel fictif et autorisez l'agent à lire seulement dans la copie de test. Ajoutez une requête normale et demandez d'enregistrer la modification. La réponse à la première demande doit contenir des informations tirées du manuel. Pour le second, l'absence d'appel est plus importante. Préparez également une valeur vide et un identifiant inconnu. Conservez ces entrées à côté des règles de contrôle afin que la nouvelle passe soit facilement comparée à l'ancienne. ## Quand la vérification a besoin d'isolation Pour le test d'exécution de code, sélectionnez l'environnement isolé approprié. Ne laissez le modèle que les outils de test nécessaires et gardez les informations d'identification réelles hors du parcours. Fixez la version du modèle, les instructions et la méthode d'évaluation. Si le résultat a changé, ouvrez un mauvais exemple et vérifiez les étapes dans l'ordre. Il est donc plus facile de déterminer si la décision du modèle lui-même, le comportement de l'instrument ou la règle qui transforme l'observation en point. Ajoutez un lien vers le test source et notez les versions des composants qui ont changé. ## Pour quelles tâches convient-il - Vérifier l'agent sur les scénarios pré-conçus - Répéter le test en remplaçant les instructions du modèle Fonctionnalités ## Les points forts - Il y a une séparation de l'échantillonnage, des étapes et de la vérification - L'aide explique vos propres étapes et le travail avec les outils Il faut prendre en compte ## Limites - L'évaluation est limitée aux tests et règles sélectionnés - L'exécution du code d'un autre nécessite une isolation séparée. ## Choix et conditions Mode gratuit Oui Période d'essai Non confirmé Sans inscription Non confirmé Interface en russe Non confirmé Installation locale Oui API Non confirmé « Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur. Formats d’entrée Texte, Code Résultat Texte, Données ### Conditions Cadre ouvert. Les coûts peuvent survenir lors de l'appel des modèles, de l'emplacement et du fonctionnement de l'environnement d'exécution. L'évaluation est limitée aux tests et règles sélectionnés. De la tâche au premier résultat ## Exemple pratique Tâche Vérifier l'agent sur les scénarios pré-conçus Que préparer Une copie de test de l'Assistant et une stratégie de lecture et d'écriture fictive. ### Consigne ou requête Lancez les requêtes normales et limites. Vérifiez que la lecture autorisée fonctionne et que l'action sans autorisation n'est pas dans le journal. ### Résultat attendu Rapport avec les entrées, les actions observées et les commentaires sur les règles. ### Comment vérifier le résultat - Vérifiez le journal de l'outil séparément du texte de la réponse. - Ne testez que dans un environnement cohérent. Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat. Vérifier les détails ## Sources officielles - [Inspect AI ](https://inspect.aisi.org.uk/) - [Aide sur les étapes d'évaluation d'Inspect ](https://inspect.aisi.org.uk/solvers.html) - [Le dépôt officiel d'Inspect AI ](https://github.com/UKGovernmentBEIS/inspect_ai) La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser. En bref sur l'outil Développeur UK AI Security Institute Catégorie [Code](https://instain.ru/fr/category/code/) Accès Besoin de Python, la définition du test et le modèle sélectionné. Pour certains scénarios, un environnement d'exécution distinct est nécessaire. Paiement Cadre ouvert. Les coûts peuvent survenir lors de l'appel des modèles, de l'emplacement et du fonctionnement de l'environnement d'exécution. API API non spécifiée [Termes du développeur ](https://github.com/UKGovernmentBEIS/inspect_ai) Évaluation du catalogue 4.38 / 5 Fonctionnalités 4.40 / 5 Scénarios de travail 4.10 / 5 Écosystème 4.40 / 5 Documentation 4.60 / 5 Les points sont le repère du catalogue. Ce ne sont pas des commentaires d'utilisateurs ou le résultat de tests personnels. [Voir la méthodologie ](https://instain.ru/fr/methodology/) Poursuivre la découverte ## Pour des tâches similaires [Toute la catégorie ](https://instain.ru/fr/category/code/) Code ### [Promptfoo](https://instain.ru/fr/ai/promptfoo/) Contrôles du comportement des applications avec des modèles linguistiques 4.40 / 5 outil de vérification de la sécurité des applications avec l'IA Tâches similaires ; comparez les conditions, les formats et les limites Code ### [NVIDIA NeMo Guardrails](https://instain.ru/fr/ai/nvidia-nemo-guardrails/) Règles programmables pour les entrées, sorties et actions du modèle 4.30 / 5 bibliothèque de règles pour les applications avec des modèles Tâches similaires ; comparez les conditions, les formats et les limites