Olmo convient aux chercheurs et développeurs qui se soucient de l'origine du point de contrôle, du matériel d'apprentissage disponible et de la comparaison reproductible.
Que signifie la comparaison reproductible
Deux modèles peuvent donner des réponses différentes en fonction du point de contrôle, du mode de démarrage ou des paramètres de génération. Ai2 publie pour Olmo des poids ouverts et du matériel d'apprentissage. Cela vous permet de fixer quelle option est impliquée dans l'expérience et de vous référer à la description de sa préparation. Si la tâche consiste à comparer les étapes de la formation, commencez par des points de contrôle documentés d'une même famille. Conservez les identifiants de modèle exacts à côté du programme de vérification.
Un ensemble de questions pour deux options
Prenez une procédure fictive de retour de produit. Préparez une question sur un délai, une sur une exception et une sur un détail absent. Pour chacune, notez la phrase qui confirme la réponse, ou indiquez que l’information manque. Évaluez les deux points de contrôle avec les mêmes entrées, paramètres de sortie et limite de longueur. Pour un modèle entraîné au dialogue, utilisez le modèle de conversation documenté et notez ce qui diffère du modèle de base. Comptez ensuite à la main les réponses que vous pouvez rattacher au texte d’origine.
Que mettre dans le journal
Enregistrez la version de la bibliothèque, le périphérique, la précision des calculs et le format de la balance. Si vous utilisez l'option compressée, fixez la méthode. Les temps de réponse et les exigences de mémoire sont comparés dans le même environnement, et les changements aléatoires sont vérifiés par des passes répétées. Le résultat du kit de formation se réfère à ces exemples. Pour une utilisation dans une autre langue ou un autre type de document, ajoutez des entrées et des critères de qualité distincts. Ajoutez quelques différences au journal et expliquez pourquoi elles sont importantes pour la tâche.
Pour quelles tâches convient-il
- Comparer les réponses de deux points de contrôle documentés
- Vérifier ce qui change après avoir configuré les instructions
Les points forts
- Ai2 révèle le matériel et les étapes de la formation
- Il y a des cartes de modèle officielles et un guide de démarrage
Limites
- Les mêmes paramètres et données sont nécessaires pour répéter l'expérience
- La mémoire et la vitesse dépendent de la taille et du mode de démarrage
Choix et conditions
- Mode gratuit
- Oui
- Période d'essai
- Non confirmé
- Sans inscription
- Non confirmé
- Interface en russe
- Non confirmé
- Installation locale
- Oui
- API
- Non confirmé
« Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur.
- Formats d’entrée
- Texte
- Résultat
- Texte
Conditions
Les poids et le matériel des versions ouvertes sont disponibles sous les conditions des licences correspondantes. Les ressources informatiques et les appels gérés peuvent être payés séparément. Pour répéter l'expérience, les mêmes paramètres et données sont nécessaires.De la tâche au premier résultat
Exemple pratique
- Tâche
- Comparer les réponses de deux points de contrôle documentés
- Que préparer
- Instructions courtes pour le retour des marchandises, enregistrées avec du texte ordinaire.
Consigne ou requête
À partir de ce guide, formule trois questions de compréhension. Donne pour chacune la bonne réponse et une phrase du texte fourni qui la justifie. Si un délai ou une condition manque, indique-le explicitement.
Résultat attendu
Trois paires de questions-réponses vérifiables basées sur le texte transmis.
Comment vérifier le résultat
- Comparez chaque réponse à la phrase correspondante du texte source.
- Répétez la tâche avec le modèle local sélectionné et évaluez le temps et la consommation de mémoire sur votre appareil.
Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat.
Vérifier les détails
Sources officielles
La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser.
