Dans DSPy, la tâche est décrite par les entrées et les sorties, et l'optimiseur tente d'améliorer le programme selon la métrique sélectionnée. Le résultat est vérifié sur des exemples différés.
Décidez d’abord ce que signifie l’amélioration.
Si le modèle extrait l'adresse et le type de problème de l'application, une table remplie semble être un bon résultat. Mais deviner dans le champ d'adresse peut faire plus de mal qu'une cellule vide. Dans DSPy, la tâche peut être décrite avec une signature et l'optimiseur peut transmettre des métriques. Avant de lancer, notez ce qui est considéré comme le bon champ et quel comportement est attendu lorsque l'adresse n'est pas spécifiée. Sinon, l'optimisation améliorera l'indicateur qui ne reflète pas le fonctionnement de l'application.
Deux séries d'exemples
Préparez des demandes de formation avec de courtes descriptions, des laissez-passer et plusieurs adresses. Une partie sert à la configuration, l'autre reste à vérifier. Lancez le programme source et enregistrez les résultats. Ensuite, appliquez l'optimiseur sélectionné et répétez les tâches différées avec les mêmes paramètres du modèle. Comparez le nombre de champs correctement remplis et les erreurs par cas avec les données manquantes. Une bonne métrique doit faire la distinction entre le passe, l'extraction correcte et la conjecture.
Combien coûte l'amélioration obtenue
Enregistrez l'optimiseur sélectionné, la limite de tentatives, le temps et le nombre d'appels. Si vous changez de modèle ou d'exemple, répétez d'abord l'estimation initiale. Un programme personnalisé peut être utile dans un processus particulier et se comporter différemment sur un autre sujet. Avant le transfert, vérifiez plusieurs entrées fraîches manuellement. Cela vous aidera à voir si le programme utilise des signes réels d'une tâche ou s'il s'appuie sur les propriétés aléatoires de la collection de formation. Sauvegardez la configuration d'origine pour une comparaison ultérieure.
Pour quelles tâches convient-il
- Trouver des instructions et des exemples pour extraire des champs
- Comparer le programme optimisé avec la version originale
Les points forts
- Sépare la description de la tâche et la méthode d'optimisation
- Le manuel officiel décrit les modules et les métriques
Limites
- Une mauvaise métrique encourage le mauvais comportement
- La comparaison nécessite un échantillonnage et une comptabilité séparés des coûts.
Choix et conditions
- Mode gratuit
- Oui
- Période d'essai
- Non confirmé
- Sans inscription
- Non confirmé
- Interface en russe
- Non confirmé
- Installation locale
- Oui
- API
- Non confirmé
« Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur.
- Formats d’entrée
- Texte, Données, Code
- Résultat
- Code, Données
Conditions
Le framework est disponible dans des conditions ouvertes. Le prix des courses dépend des modèles, du nombre d'échantillons et des ressources informatiques. Une mauvaise métrique encourage le mauvais comportement.De la tâche au premier résultat
Exemple pratique
- Tâche
- Trouver des instructions et des exemples pour extraire des champs
- Que préparer
- Les demandes de formation avec des champs connus, le programme de base et un échantillon de contrôle séparé.
Consigne ou requête
Configurez le programme de mesure d'extraction de champ. Comparez les options d'origine et de réglage sur des exemples qui n'ont pas participé à la configuration.
Résultat attendu
Comparaison avec les erreurs de champ et compte tenu du nombre d'appels du modèle.
Comment vérifier le résultat
- Vérifiez que les applications de contrôle n'ont pas été utilisées par l'optimiseur.
- Découvrez des exemples où le résultat est pire.
Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat.
Vérifier les détails
Sources officielles
La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser.