Haystack.

Comment trouver un lien problématique

La réponse de l'assistant avec un lien vers le manuel semble convaincante jusqu'à ce que l'opérateur ouvre la source. Parfois, la cause de l'erreur est recherchée et parfois le modèle a déformé le paragraphe correctement trouvé. Dans Haystack, ces étapes peuvent être décrites par des composants individuels et vérifier les résultats intermédiaires. Enregistrez la question d'entrée, les documents trouvés et le texte transmis à la génération pour le test. Ensuite, après le remplacement du modèle, vous verrez quelle partie du processus a vraiment changé.

Deux branches pour la base de formation

Présentez une aide interne où les demandes de paramètres sont incluses dans l'index de documentation et où les questions sur les formats pris en charge sont vérifiées avec un petit tableau. Commencez par une question ordinaire pour chaque branche. Ensuite, formulez une requête ambiguë. Vérifiez si le chemin choisi correspond aux règles et ce qui se passe si les documents ne sont pas trouvés. Pour un exemple négatif, posez une question sur une fonction qui n'existe dans aucune source.

Dans cette vérification, il est utile d'afficher les noms des composants et la raison courte de l'itinéraire. Il n’est pas nécessaire de conserver le contenu de chaque traitement réel.

Que mesurer lors du remplacement d'un composant

Conservez le même ensemble d'entrées. Remplacez la recherche ou la préparation du contexte et comparez la sortie avant d'appeler le modèle. Mesurez le temps de chaque étape afin que la requête externe lente ne soit pas confondue avec le retard de l'algorithme entier. Si vous utilisez un cycle de retraitement, définissez une condition de sortie et vérifiez qu'une entrée incorrecte ne démarre pas le travail sans fin.

Pour quelles tâches convient-il

• Vérifier la sortie de la recherche avant de générer une réponse
• Recueillir une branche pour différents types de requêtes