Canonical: https://instain.ru/ai/colpali/
Language: ru

Illuin Technology и авторы ColPali  модель визуального поиска страниц

# ColPali. 

Модель ранжирует страницы по смыслу текста и визуальным признакам

4.18 / 5    [Оценка каталога](https://instain.ru/ai/colpali/#editorial-rating) [Официальный сайт ](https://github.com/illuin-tech/colpali)

ColPali строит представление страницы как изображения и оценивает его близость к вопросу. На выходе можно получить позицию исходной страницы в выдаче.

![Репозиторий ColPali с обзором визуального поиска документов](https://instain.ru/assets/images/colpali-screen-b5205cdd509d-1200.webp)

Репозиторий ColPali с обзором визуального поиска документов.  [Открыть источник ](https://github.com/illuin-tech/colpali)

## Поиск на странице, где важна диаграмма

Представьте отчет, в котором разделы за разные годы имеют одинаковое название. Нужный график отличает легенда или подпись рядом с таблицей, а у старого скана нет нормального текстового слоя. ColPali позволяет индексировать изображения страниц и сопоставлять их с текстовым запросом. Сохраните ссылку на документ и номер страницы для каждого представления. Иначе даже удачный поиск оставит пользователя с номером внутренней записи индекса.

## Как устроить учебный набор

Возьмите несколько собственных страниц. На одной разместите таблицу расходов по кварталам, на другой похожий график доходов, на третьей оставьте один заголовок. Задайте вопрос, в котором важна именно диаграмма расходов, и откройте первые страницы выдачи. Затем спросите о показателе, которого в наборе нет. Это поможет настроить правило показа результатов при слабом совпадении.

Сравните с поиском по текстовому слою на том же наборе. Отдельно отметьте вопросы, для которых преимущество дает сам вид страницы.

## Что означает найденная страница

Модель показывает, какие страницы стоит открыть. Точное число в таблице и значение подписи следует считывать отдельным способом и сверять с оригиналом. Проверьте качество входных изображений, особенно у мелких подписей, и запишите настройки построения индекса. При обновлении отчета пересчитайте измененные страницы и убедитесь, что старый вариант не продолжает попадать в результат.

## Для каких задач подходит

- Найти страницу с диаграммой в отсканированном отчете

- Сравнить выдачу на страницах с похожим заголовком

Возможности 

## Сильные стороны

- Учитывает изображение страницы при поиске

- Есть официальный код и карточки моделей для работы с документами

Стоит учитывать 

## Ограничения

- Выдача не извлекает точное значение из найденной таблицы

- Многовекторное представление влияет на размер индекса

## Выбор и условия

Бесплатный режим

Да

Пробный период

Не подтверждено

Без регистрации

Не подтверждено

Русский интерфейс

Не подтверждено

Локальная установка

Да

API

Не подтверждено

«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.

Исходные форматы

Документ, Изображение, Текст

Результат

Данные

### Условия

Веса и код доступны по своим лицензиям. Подготовка страниц, вычисление представлений и хранение индекса требуют ресурсов. Выдача не извлекает точное значение из найденной таблицы.

От задачи к первому результату

## Практический пример

Задача

Найти страницу с диаграммой в отсканированном отчете

Что подготовить

Несколько своих страниц отчета, включая две с похожими заголовками и разными графиками.

### Задание или запрос

Найди страницу с диаграммой расходов по кварталам. Верни номера первых страниц и ссылку на оригинал.

### Ожидаемый результат

Выдача с проверяемыми номерами и исходными изображениями страниц.

### Как проверить результат

- Проверьте вопрос, в котором нужны признаки диаграммы.

- Откройте найденную страницу и сравните ее с похожей.

Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.

Проверить подробности

## Официальные источники

-  [Репозиторий ColPali от разработчиков ](https://github.com/illuin-tech/colpali)

-  [Карточка официальных весов ColPali ](https://huggingface.co/vidore/colpali-v1.3)

Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.

Коротко об инструменте

Разработчик

Illuin Technology и авторы ColPali

Категория

[Код](https://instain.ru/category/code/)

Доступ

Для работы нужны совместимые веса, изображения страниц и код поиска. Перед запуском проверьте требования и условия выбранного релиза.

Оплата

Веса и код доступны по своим лицензиям. Подготовка страниц, вычисление представлений и хранение индекса требуют ресурсов.

API

Отдельный API не указан

[Условия разработчика ](https://huggingface.co/vidore/colpali-v1.3)

Оценка каталога

4.18 / 5 

Возможности

4.40 / 5 

Рабочие сценарии

3.90 / 5 

Экосистема

4.20 / 5 

Документация

4.20 / 5 

Баллы — ориентир каталога. Они не являются отзывами пользователей или результатом личного тестирования.

[Посмотреть методологию ](https://instain.ru/methodology/)