Модели Molmo объединяют визуальный вход и вопрос. В поддерживаемых вариантах можно запросить координаты объекта, а в Molmo 2 также работать с видео.
Вопрос, на который можно ответить точкой
На фото склада две похожие коробки. Описание обеих как коричневых мало помогает, если оператору нужна верхняя. Molmo может обработать изображение и запрос вместе, а поддерживаемый режим указания возвращает положение предмета. Для проверки нанесите полученную точку на исходный кадр и убедитесь, что она попала в нужную область. Если обвязка уменьшает или обрезает кадр, заранее проверьте преобразование координат обратно.
Два предмета и пустой кадр
Снимите полку с двумя коробками, затем уберите верхнюю. Для первого кадра задайте вопрос с четким указанием места. Для второго повторите его без изменений. Оцените отдельно, находит ли модель нужную коробку и как ведет себя при ее отсутствии. Полезно добавить кадр, где один предмет закрывает другой. Даже попадание точки в видимую часть не объясняет, какую площадь занимает скрытая коробка.
Как расширять проверку
Если нужна разметка по нескольким кадрам, выберите вариант Molmo, для которого Ai2 документирует работу с видео, и сверяйте кадры по времени. Сохраните исходный размер, формулировку запроса и версию весов. Разделяйте ответы о содержимом кадра, координаты и точный контур. Для границ понадобится отдельный метод. Добавьте к проверке кадры с другим освещением и ракурсом, чтобы удачный ответ на первой фотографии не стал единственным основанием для выбора. Запишите число пропусков отдельно от числа неверных указаний.
Для каких задач подходит
- Проверить указание на нужный предмет среди похожих
- Сверить ответы на вопросы о содержимом кадра
Сильные стороны
- Модель может вернуть указание на место объекта
- Ai2 публикует веса и примеры запуска
Ограничения
- Точка не задает точный контур предмета
- Окклюзия и похожие предметы требуют отдельных проверок
Выбор и условия
- Бесплатный режим
- Да
- Пробный период
- Не подтверждено
- Без регистрации
- Не подтверждено
- Русский интерфейс
- Не подтверждено
- Локальная установка
- Да
- API
- Не подтверждено
«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.
- Исходные форматы
- Изображение, Текст
- Результат
- Данные, Текст
Условия
Условия доступных весов указаны в карточке соответствующей модели. Свое оборудование или управляемые вычисления оплачиваются отдельно. Точка не задает точный контур предмета.От задачи к первому результату
Практический пример
- Задача
- Проверить указание на нужный предмет среди похожих
- Что подготовить
- Своя фотография с двумя похожими коробками, из которых одна стоит на верхней полке.
Задание или запрос
Укажи точкой коробку на верхней полке. Если предмет не виден, не переноси координаты с другой коробки.
Ожидаемый результат
Координаты, которые можно наложить на исходный кадр для проверки.
Как проверить результат
- Сверьте преобразование координат после изменения размера изображения.
- Проверьте второй кадр без нужной коробки.
Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.
Проверить подробности
Официальные источники
Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.