Segment Anything (SAM).

Выделить объект, сохранив исходный кадр

Чтобы изменить фон за человеком или применить эффект только к предмету, сначала нужна его маска. Segment Anything от Meta выполняет именно эту часть работы: находит указанные объекты и отмечает принадлежащие им пиксели. После этого маску можно использовать в своем редакторе или приложении.

В текущей документации описан SAM 3.1. Он работает с изображениями и видео, принимает короткое текстовое название объекта, а также подсказки рамками и точками. Текст помогает найти все совпадающие объекты; визуальное указание позволяет выбрать конкретный экземпляр. Возможности старых версий семейства могут отличаться.

Что получается на выходе

Модель возвращает маски и ограничивающие рамки. Маска определяет область объекта, рамка обозначает его прямоугольную границу. В программном ответе это данные сегментации, которые приложение должно обработать и показать. Готовый монтаж или новое изображение по описанию SAM не создает.

В видео идентификатор помогает связать маски одного объекта между кадрами, пока объект остается в кадре. При полном перекрытии, входе или выходе объекта и на очень длинных роликах на постоянство идентификатора полагаться нельзя. Вывод «Маска» в сравнении инструментов означает разметку пикселей, в том числе по кадрам, а не обещание готового видеофайла.

Пример с двумя красными кружками

Для учебной пробы подойдет собственная фотография, на которой видны две красные кружки и синяя бутылка. Короткий запрос red mug задает нужный тип объекта. Ожидаемая цель задания: получить отдельные маски обеих кружек, не захватив бутылку. Это пример постановки задачи, а не проведенный нами тест.

Проверьте не только внешний силуэт, но и просветы внутри ручек. Если предмет выбран неверно, уточните его рамкой или точкой. На сложном фоне полезно сравнить выделенную область с оригиналом при увеличении.

Демо, API или собственная среда

Официальная ссылка Segment Anything ведет на площадку Meta AI Demos. Состав доступных демонстраций, необходимость входа и условия загрузки своих материалов проверяйте на самой площадке.

Для интеграции Meta предлагает SAM 3.1 через Meta Model API. Его документация объясняет отправку изображения или видеоклипа вместе с подсказкой и чтение результата. Один запрос с текстом задает один тип объекта; для нескольких типов понадобятся отдельные запросы.

Для самостоятельного размещения Meta публикует код, примеры и ссылки на веса. Получение проверенных контрольных точек требует запроса доступа и авторизации на Hugging Face. Понадобится совместимая вычислительная среда с GPU; требования следует сверять с выбранной версией.

За что придется платить

Проверенные веса распространяются по SAM License, которая предусматривает использование без лицензионной платы при соблюдении условий. Это отдельный вариант доступа: оборудование, запуск и обслуживание требуют ресурсов. Правила использования и распространения нужно читать у выбранных весов.

Официальный облачный API оплачивается по его действующим условиям. Страница модели разделяет учет изображений и кадров видео. Точные цены здесь не фиксируем: перед рабочей загрузкой сверьте тарификацию, доступность аккаунта и ограничения сервиса.

Как проверить результат

У изображения просмотрите границы, мелкие детали и соседние похожие предметы. У видео дополнительно проверьте появление объекта в кадре, перекрытия и быстрые движения. Если маска теряет нужную область, результат требует уточнения перед монтажом или измерениями.

Документация API считает отсутствие совпадений допустимым результатом: поток может завершиться без найденных объектов. Пустой ответ сам по себе не доказывает сбой подключения. Сначала убедитесь, что нужный предмет различим в исходнике и понятно назван в запросе.

Для каких задач подходит

• Подготовить маски объектов для дальнейшего редактирования
• Отслеживать выбранный предмет между кадрами видео
• Разметить изображения для собственного приложения