Segment Anything (SAM).

Isoler un objet en conservant l’image d’origine

Pour modifier l’arrière-plan derrière une personne ou appliquer un effet à un seul objet, il faut d’abord son masque. Segment Anything de Meta réalise cette étape : il repère les objets indiqués et marque les pixels qui leur appartiennent. Le masque peut ensuite servir dans votre éditeur ou votre application.

La documentation actuelle décrit SAM 3.1. Le modèle traite les images et les vidéos ; il accepte une courte désignation textuelle de l’objet ainsi que des indications par boîtes et points. Le texte aide à trouver tous les objets correspondants ; une indication visuelle permet de choisir une instance précise. Les versions plus anciennes de la famille peuvent avoir des capacités différentes.

Le résultat obtenu

Le modèle renvoie des masques et des boîtes englobantes. Le masque définit la zone de l’objet ; la boîte indique son contour rectangulaire. Dans la réponse de l’API, ce sont des données de segmentation que l’application doit traiter et afficher. SAM ne produit ni montage finalisé ni nouvelle image à partir d’une description.

Dans une vidéo, l’identifiant permet de relier les masques d’un même objet d’une image à l’autre, tant que l’objet reste dans le champ. On ne peut pas compter sur sa stabilité en cas d’occlusion totale, d’entrée ou de sortie du champ, ni dans les vidéos très longues. Dans le comparateur, la sortie « Masque » désigne un marquage des pixels, notamment image par image, et ne promet pas un fichier vidéo prêt à l’emploi.

Exemple avec deux tasses rouges

Pour un exercice, vous pouvez utiliser votre propre photo montrant deux tasses rouges et une bouteille bleue. La courte consigne red mug désigne le type d’objet recherché. L’objectif est d’obtenir un masque distinct pour chaque tasse, sans inclure la bouteille. Il s’agit d’un exemple de tâche, pas d’un test que nous avons réalisé.

Vérifiez le contour extérieur, mais aussi les ouvertures à l’intérieur des anses. Si le mauvais objet a été sélectionné, précisez votre choix avec une boîte ou un point. Sur un fond complexe, comparez la zone sélectionnée à l’original en zoomant.

Démonstration, API ou environnement personnel

Le lien officiel de Segment Anything mène à Meta AI Demos. Vérifiez directement sur cette plateforme les démonstrations disponibles, l’éventuelle connexion obligatoire et les conditions d’importation de vos propres fichiers.

Pour les intégrations, Meta propose SAM 3.1 via Meta Model API. Sa documentation explique comment envoyer une image ou un extrait vidéo avec une consigne et lire le résultat. Une requête textuelle définit un seul type d’objet ; il faut des requêtes distinctes pour plusieurs types.

Pour un hébergement autonome, Meta publie le code, des exemples et des liens vers les poids. L’accès aux points de contrôle validés nécessite une demande et une authentification sur Hugging Face. Il faut un environnement de calcul compatible avec un GPU ; vérifiez les exigences de la version choisie.

Ce qui est payant

Les poids validés sont distribués sous SAM License, qui autorise leur utilisation sans redevance de licence sous réserve du respect de ses conditions. C’est une option d’accès distincte : le matériel, l’exécution et la maintenance demandent des ressources. Consultez les règles d’utilisation et de redistribution associées aux poids choisis.

L’API cloud officielle est facturée selon ses conditions en vigueur. La page du modèle distingue la facturation des images de celle des images vidéo. Nous n’indiquons pas de prix précis ici : avant d’envoyer des fichiers de travail, vérifiez les tarifs, l’accès au compte et les limites du service.

Comment vérifier le résultat

Pour une image, examinez les contours, les petits détails et les objets similaires à proximité. Pour une vidéo, vérifiez aussi l’entrée de l’objet dans le champ, les occlusions et les mouvements rapides. Si le masque perd une partie de la zone visée, il faut affiner le résultat avant de l’utiliser pour un montage ou des mesures.

Selon la documentation de l’API, l’absence de correspondances est un résultat valide : le flux peut se terminer sans objet détecté. Une réponse vide ne prouve donc pas à elle seule un problème de connexion. Vérifiez d’abord que l’objet est discernable dans l’original et clairement nommé dans la requête.

Pour quelles tâches convient-il

• Préparer des masques d’objets pour les retouches suivantes
• Suivre un objet choisi d’une image vidéo à l’autre
• Annoter des images pour votre propre application