Семейство моделей компьютерного зрения. Отдельные веса Marigold V2 оценивают глубину, нормали или альбедо по изображению.

Репозиторий Marigold V2 с перечнем предсказаний и примерами запуска. Открыть источник

Карта глубины как ориентир для монтажа

Marigold оценивает, какие области изображения находятся ближе к камере и какие дальше. Во второй версии выбор контрольной точки позволяет также предсказать направление поверхности или ее цвет без прямого учета освещения. Эти выходы решают разные задачи. Карта глубины удобна для грубого разделения планов, а нормали помогают оценить наклон видимых поверхностей. Для одной фотографии неизвестны реальный масштаб сцены и положение объектов в метрах.

Проверка кадра с витриной

Возьмите собственный снимок витрины, где передняя стойка перекрывает полку, а за стеклом виден фон. Сначала оцените общую карту глубины и сравните порядок планов с исходником. Затем приблизьте границу стойки, тонкую опору и блик на стекле. Если хотите оценить поверхность за стеклом, проверьте специализированную контрольную точку в документации. Ее вывод стоит сравнить с обычной картой, не полагаясь только на цвет визуализации.

Сохраните исходную фотографию и массив предсказания рядом. Цветная картинка удобна для просмотра, а массив пригодится при подготовке маски.

Условия воспроизводимого запуска

Официальный репозиторий описывает запуск на Linux с CUDA и предупреждает о требованиях к памяти, которые растут с разрешением. Начните с небольшого набора фотографий из своей задачи. Сохраните параметры и название контрольной точки. Это позволит понять, связано ли различие результатов с ракурсом, размером кадра или выбранной моделью. Отдельно сверяйте условия использования базовых и дополнительных весов.

Для каких задач подходит

Оценить порядок объектов в кадре
Подготовить ориентир для маски по глубине

Возможности

Сильные стороны

Отдельные веса для глубины, нормалей и альбедо
Числовой массив и визуализация предсказания

Стоит учитывать

Ограничения

Относительная карта не дает расстояния в метрах
Стекло, зеркала и границы требуют ручной проверки

Выбор и условия

Бесплатный режим: Не подтверждено
Пробный период: Не подтверждено
Без регистрации: Не подтверждено
Русский интерфейс: Не подтверждено
Локальная установка: Да
API: Не подтверждено

«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.

Исходные форматы: Изображение
Результат: Карта глубины, Изображение

Условия

Авторы публикуют код, контрольные точки и демонстрацию. Документированная локальная установка второй версии использует Linux и видеокарту с CUDA.

От задачи к первому результату

Практический пример

Задача: Оценить порядок объектов в кадре
Что подготовить: Снимок с отчетливым передним планом и несколькими объектами на разных расстояниях.

Задание или запрос

Постройте карту глубины и сравните взаимное положение предметов с исходным снимком. Оставьте исходник без изменений.

Ожидаемый результат

Карта глубины для визуальной проверки.

Как проверить результат

Сверьте ближние и дальние объекты.
Отдельно посмотрите прозрачные поверхности и тонкие контуры.

Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.

Проверить подробности

Официальные источники

Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.

Marigold.