Phoenix accepte les traces d'applications avec des modèles. L'équipe peut ouvrir une chaîne d'appels et lier les évaluations de la qualité à une étape individuelle ou à une réponse complète.
Comment voir ce qui s'est passé avant la réponse
Dans une application de recherche, une mauvaise réponse peut cacher plusieurs raisons. L'index n'a pas renvoyé le fragment souhaité, le filtre l'a jeté ou le modèle a mal lu le texte trouvé. Arize Phoenix recueille des données sur les étapes de la piste. Lorsque l'outil est configuré, le développeur peut ouvrir un appel de recherche séparément de la génération. Pour la première expérience, il suffit d'une chaîne anonyme et d'une question avec une source connue.
Marques sur la piste d'entraînement
Prenez deux réponses à une question. Dans le premier cas, il y a un paragraphe nécessaire dans le contexte, dans le second, il n'y en a pas. Vérifiez quel événement transmet les fragments du modèle et quel texte il a renvoyé. Marquez séparément la qualité de recherche et la qualité de sortie. Ensuite, comparez l'évaluation manuelle avec l'évaluateur automatique sélectionné. Si le modèle donne une bonne note à la mauvaise réponse, conservez cet exemple et précisez le critère.
Quoi laisser dans le journal
Retirez les données sensibles avant d’exporter les traces. Les noms d’étapes, leurs durées et des identifiants anonymisés suffisent parfois pour trouver un retard. Ne conservez le contenu des questions et des documents que dans les emplacements autorisés. Fixez les rôles et les durées de conservation. Vérifiez que les réponses restent liées aux bonnes versions du modèle et de l’index. Avec la hausse du trafic, estimez séparément le volume de traces et la fréquence des évaluations. Comparez des traces de même type.
Pour quelles tâches convient-il
- Trouver l'échec de la recherche dans la chaîne de requête
- Comparer les étiquettes de qualité manuelles et les évaluations automatiques
Les points forts
- Affiche les étapes associées du modèle et des outils
- Documente l'évaluation avec le modèle et la visualisation des traces
Limites
- Limitez la collecte des traces aux données autorisées
- Comparez les évaluations du modèle aux annotations humaines
Choix et conditions
- Mode gratuit
- Oui
- Période d'essai
- Non confirmé
- Sans inscription
- Non confirmé
- Interface en russe
- Non confirmé
- Installation locale
- Oui
- API
- Non confirmé
« Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur.
- Formats d’entrée
- Données, Texte
- Résultat
- Texte, Données
Conditions
La version ouverte n'a pas de frais de licence de bibliothèque. L'emplacement, la préservation des pistes et les modèles d'évaluation ont des coûts distincts. Limitez la collecte des traces aux données autorisées.De la tâche au premier résultat
Exemple pratique
- Tâche
- Trouver l'échec de la recherche dans la chaîne de requête
- Que préparer
- La piste d'essai de l'assistant avec la question, les résultats de recherche et la réponse.
Consigne ou requête
Trouvez l'étape où le fragment souhaité est perdu. Comparer l'évaluation de la réponse correcte et l'adéquation du contexte.
Résultat attendu
La piste marquée avec une conclusion raisonnable sur l'étape problématique.
Comment vérifier le résultat
- Vérifiez la sortie avec les marques manuelles.
- Vérifiez quels sont les champs de la piste.
Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat.
Vérifier les détails
Sources officielles
La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser.