Pour un DPO, une réponse préférée et moins réussie est appliquée à une requête. TRL fournit une salle de classe prête à l'emploi et décrit les formats pris en charge.
Comment marquer quelques réponses
Prenons un assistant de formation pour le répertoire interne. Sur la question du report du délai, une réponse répète exactement la règle, l'autre propose une exception. Pour DPO, vous pouvez enregistrer une requête et deux réponses en marquant le premier comme préféré. Si le second est à la fois plus long et moins précis, le modèle peut associer la préférence à la longueur. Faites plusieurs paires avec le même style, mais des erreurs réelles différentes. Ainsi, le critère sera mieux visible dans les données.
Que transmettre à TRL
Le DPOTrainer fournit un ensemble de données avec des champs prompt, chosen et rejected. Les champs de rôle sont disponibles pour les exemples de dialogue. Vérifiez que les deux versions répondent bien à la même question et ne contiennent pas d'informations qui ne figurent pas dans la requête ou le manuel. Ensuite, reportez les questions d'une autre section du manuel pour vérification. Préparez également une paire où la réponse préférée vous demande de clarifier les données d'entrée.
Contrôle après formation
Vérifiez séparément les réponses exactes, les mises à jour pertinentes et les fictions confiantes. La note globale peut être améliorée par un style plus court, même si une partie des anciennes réponses correctes a disparu. Enregistrez quelques exemples de ce type à côté des paramètres de progression. Vérifiez si le modèle de dialogue correspond à l'apprentissage et au test. La comparaison avec le modèle original a du sens sur un ensemble de questions, avec le même contexte et les mêmes paramètres de génération. Pour les scénarios importants, complétez les indicateurs automatiques par une vérification manuelle du contenu.
Pour quelles tâches convient-il
- Vérifier l'apprentissage par paires de réponses
- Comparer le modèle avant et après DPO
Les points forts
- Il existe une classe DPOTrainer prête à l'emploi et des formats d'exemples
- Bibliothèque connectée à l'écosystème Transformers
Limites
- Les préférences dans l'échantillon affectent le comportement final
- Un marquage séparé est nécessaire pour la vérification en dehors du kit de formation
Choix et conditions
- Mode gratuit
- Oui
- Période d'essai
- Non confirmé
- Sans inscription
- Non confirmé
- Interface en russe
- Non confirmé
- Installation locale
- Oui
- API
- Non confirmé
« Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur.
- Formats d’entrée
- Texte, Données
- Résultat
- Données, Modèle
Conditions
La bibliothèque ouverte n'a pas de tarif séparé. Les calculs, l'emplacement et les conditions d'utilisation du modèle de référence sont comptabilisés séparément. Les préférences dans l'échantillon affectent le comportement final.De la tâche au premier résultat
Exemple pratique
- Tâche
- Vérifier l'apprentissage par paires de réponses
- Que préparer
- Un ensemble de questions et réponses, un modèle compatible et des exemples de vérification individuels.
Consigne ou requête
Prépare une courte formation. Enregistrez les paramètres du modèle et comparez ses réponses avant et après la formation sur les mêmes requêtes de vérification.
Résultat attendu
Rapport de changement de qualité et adaptateur ou point de contrôle personnalisé.
Comment vérifier le résultat
- Enlevez les copies et les variantes proches entre les échantillons.
- Notez séparément les erreurs de contenu et les écarts par rapport au format.
Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat.
Vérifier les détails
Sources officielles
La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser.
