IDEA Research modèle de détection d'objets par texte

Grounding DINO.

Le modèle compare la description de la catégorie avec le cadre de l'image

4.23 / 5Évaluation du catalogue
Site officiel

Grounding DINO reçoit une photo et une phrase sur le sujet. Le modèle renvoie les notes de correspondance et les cadres qui peuvent être vérifiés sur le cadre d'origine.

Le référentiel IDEA Research avec des exemples de détection d'objets
Le référentiel IDEA Research avec des exemples de détection d'objets. Ouvrir la source

Une catégorie que l’on peut appeler

Sur la photo, il y a une tasse rouge, un pot et un verre. Grounding DINO reçoit une phrase sur la catégorie souhaitée et renvoie le cadre qu'il juge approprié. Pour la première vérification, commencez par le nom court de l'objet de la documentation et appliquez des cadres à l'image d'origine. Évaluez l'impact manuellement. La haute note n'explique pas encore quel signe du modèle était important.

Recrutement de cadres pour ajuster le seuil

Enlevez quelques options de l'étagère. Sur l'un, l'objet souhaité est clairement visible, sur l'autre, le voisin est fermé, sur le troisième, il n'y en a pas. Ajoutez une image avec un sujet de couleur similaire à un autre formulaire. Lancez le modèle avec la même phrase. Modifiez le seuil et comparez le nombre d'omissions et de cadres inutiles. Dans la tâche de pré-marquage, une partie des cadres inutiles peut être supprimée manuellement. Un autre équilibre est nécessaire pour le traitement automatique des erreurs.

Conservez séparément le résultat d’une image avec plusieurs tasses. Une détection correcte ne prouve pas que les autres objets ont été repérés.

Du résultat au marquage

Si le cadre est nécessaire pour un traitement ultérieur, notez la taille de l'image d'entrée et la méthode de recalcul des coordonnées. Pour séparer avec précision l'objet de l'arrière-plan, vous aurez besoin d'un marquage de contour ou d'un modèle de segmentation. Lorsque vous modifiez une phrase, enregistrez les résultats des deux formulations et répétez le contrôle dans un cadre vide. Cela aide à remarquer que le mot plus large a augmenté le nombre de coïncidences en raison d'objets similaires.

Pour quelles tâches convient-il

  • Trouver sur la photo les objets nommés par les mots
  • Comparer les sauts et les cadres supplémentaires à différents seuils
Fonctionnalités

Les points forts

  • Recherche un objet par la phrase transmise
  • Le développeur publie le code, les poids et les exemples
Il faut prendre en compte

Limites

  • Le cadre décrit la position, pas le contour
  • Les phrases et les seuils peuvent changer la quantité et la qualité des correspondances

Choix et conditions

Mode gratuit
Oui
Période d'essai
Non confirmé
Sans inscription
Non confirmé
Interface en russe
Non confirmé
Installation locale
Oui
API
Non confirmé

« Non confirmé » signifie que les informations disponibles ne suffisent pas. La fonctionnalité peut exister ; vérifiez les conditions du développeur.

Formats d’entrée
Image, Texte
Résultat
Données

Conditions

Les conditions de la balance et du code sont indiquées dans le référentiel officiel et la carte modèle. Votre démarrage ou cloud nécessite des ressources informatiques. Le cadre décrit une position, pas un contour.

De la tâche au premier résultat

Exemple pratique

Tâche
Trouver sur la photo les objets nommés par les mots
Que préparer
Le personnel de formation de l'étagère avec deux types de sujets et le cadre sans le type souhaité.

Consigne ou requête

Recherchez les objets de la catégorie red mug. Conservez les coordonnées, les notes et les seuils définis pour chaque image.

Résultat attendu

Cadres vérifiés et liste des omissions et fausses correspondances.

Comment vérifier le résultat

  • Comparez des objets similaires séparément.
  • Vérifiez le cadre vide et le changement de seuil.

Cet exemple pédagogique préparé par la rédaction décrit une tâche ; il ne présente pas le résultat d’un test personnel du service. Vérifiez la disponibilité du mode requis, les droits sur les fichiers d’origine et les conditions d’utilisation du résultat.

Vérifier les détails

Sources officielles

  1. Dépôt officiel Grounding DINO
  2. Carte Grounding DINO Base

La description est faite à partir des matériaux du développeur. Les fonctionnalités, les prix et la disponibilité peuvent varier; vérifiez la source avant de l'utiliser.