Microsoft модель понимания изображений

Florence-2.

Подписи, области и распознавание текста на изображении

Модель получает изображение и указание задачи. Режим OCR с областями возвращает найденный текст вместе с координатами, которые можно использовать для проверки.

Карточка Microsoft Florence-2 с примерами работы с изображениями
Карточка Microsoft Florence-2 с примерами работы с изображениями. Открыть источник

Где читать текст и где искать область

В карточке учебного товара мелкая подпись и крупное название могут быть одинаково важны. Если извлечь только слова, будет трудно найти место, где модель ошиблась в цифре. Florence-2 поддерживает режим распознавания с координатами областей. Сохраните пары текста и областей рядом с оригиналом. Тогда редактор сможет открыть спорное место, даже если один и тот же фрагмент встречается на снимке дважды.

Возьмите свои снимки для сравнения

Подготовьте два учебных изображения одной этикетки. Первое снимите ровно, второе под углом. Заранее выпишите маркировку и цифры, которые нельзя перепутать. Сопоставьте результаты с оригиналом по координатам и посмотрите, сохранилось ли чтение сверху вниз. Для проверки области используйте размеры исходного изображения и убедитесь, что выбранный способ изменения масштаба учтен при отображении рамки.

Пропуски тоже нужно сохранять

Если надпись исчезла из ответа, не превращайте пустое поле в правдоподобную догадку. Для учебной выборки пометьте такие места как требующие проверки. Отдельно попробуйте режим описания изображения и режим распознавания. У этих режимов разные цели, поэтому красивое описание этикетки ничего не говорит о точности цифр. Перед запуском проверьте условия варианта весов и способ загрузки модели, если окружение требует разрешить внешний код. Для повторной проверки сохраните снимки, исходные размеры и выбранное указание задачи.

Для каких задач подходит

  • Извлечь подписи и показать их расположение
  • Проверить распознавание мелкого текста и цифр
Возможности

Сильные стороны

  • Одна модель поддерживает несколько зрительных задач
  • Карточки Microsoft показывают подготовку входа и разбор ответа
Стоит учитывать

Ограничения

  • Мелкий и повернутый текст требует ручной сверки
  • Координаты нужно связывать с правильным размером изображения

Выбор и условия

Бесплатный режим
Да
Пробный период
Не подтверждено
Без регистрации
Не подтверждено
Русский интерфейс
Не подтверждено
Локальная установка
Да
API
Не подтверждено

«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.

Исходные форматы
Документ, Изображение
Результат
Данные, Текст

Условия

Веса опубликованы с условиями, указанными в карточке Microsoft. Самостоятельный запуск требует подходящей среды и вычислительных ресурсов. Мелкий и повернутый текст требует ручной сверки.

От задачи к первому результату

Практический пример

Задача
Извлечь подписи и показать их расположение
Что подготовить
Свои учебные сканы с цифрами, наклоном и небольшими подписями.

Задание или запрос

Распознай строки и сохрани координаты вместе с текстом. Отметь поля, которые нужно сверить с изображением вручную.

Ожидаемый результат

Текст и список спорных строк со ссылками на исходные области.

Как проверить результат

  • Проверьте цифры, порядок строк и пропуски.
  • Повторите на кадре с другим освещением.

Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.

Проверить подробности

Официальные источники

  1. Карточка Florence-2 Large
  2. Карточка Florence-2 Base

Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.