Microsoft Research модель текстовых эмбеддингов

Multilingual E5.

Векторное представление запросов и фрагментов документов

Модель выдает числовые представления текстов. Поиск и отображение исходных фрагментов реализует приложение, которое сравнивает полученные векторы.

Карточка Multilingual E5 с примерами кодирования запросов
Карточка Multilingual E5 с примерами кодирования запросов. Открыть источник

Найдите документ, даже если язык другой

Возьмите русскоязычный вопрос о сроке замены и два коротких фрагмента английской справки. Один описывает замену, второй возврат товара. Multilingual E5 переводит их в векторы, которые приложение сравнивает. Модель оставляет ответ исходному справочнику или следующему компоненту. Пользователю полезно показать исходный абзац вместе с результатом поиска, чтобы он мог проверить, относится ли правило к нужному случаю.

Входы нужно кодировать одинаково при повторе

Для поисковых задач в карточке показаны префиксы query и passage. Применяйте их по назначению и используйте одну версию весов для векторов запроса и индекса. Если длинный документ разбить только по размеру, условие и исключение могут разойтись по соседним фрагментам. Попробуйте разбиение по смысловым блокам и сохраните адрес каждого абзаца. Тогда найденный фрагмент можно открыть целиком.

Добавьте похожие примеры, которые не подходят

Проверьте запрос с отрицанием и случай, где сроки отличаются между категориями товаров. Похожий результат может звучать убедительно, хотя относится к другой категории. Сравните качество на нескольких языковых парах, которые реально нужны. При смене весов перестройте индекс и повторите тот же набор вопросов. Не смешивайте векторы разных моделей в одном поисковом пространстве, даже если их размерность совпадает. Отдельно разберите случаи, где нужный абзац есть в базе, но поиск поставил выше другое правило.

Для каких задач подходит

  • Найти фрагмент справки на другом языке
  • Сравнить короткие и длинные фрагменты при поиске
Возможности

Сильные стороны

  • Поддерживает векторизацию текста на разных языках
  • Карточка показывает примеры через Transformers и Sentence Transformers
Стоит учитывать

Ограничения

  • Качество зависит от языка, длины и разбиения фрагментов
  • Найденный похожий текст может относиться к другому условию

Выбор и условия

Бесплатный режим
Да
Пробный период
Не подтверждено
Без регистрации
Не подтверждено
Русский интерфейс
Не подтверждено
Локальная установка
Да
API
Не подтверждено

«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.

Исходные форматы
Текст
Результат
Эмбеддинг

Условия

Веса опубликованы по лицензии, указанной на карточке. Собственный индекс, вычисления и размещение нужно организовать отдельно. Качество зависит от языка, длины и разбиения фрагментов.

От задачи к первому результату

Практический пример

Задача
Найти фрагмент справки на другом языке
Что подготовить
Два коротких своих текста и несколько поисковых вопросов на одном языке.

Задание или запрос

Рабочее задание для приложения: получить эмбеддинги текстов и запросов, сохранить связь каждого вектора с исходным фрагментом и сравнить близость. Для найденного фрагмента показать исходник; сама модель эмбеддингов не пишет ответ.

Ожидаемый результат

Числовые представления и проверяемая выдача похожих фрагментов, если поиск реализован в приложении.

Как проверить результат

  • Проверьте связь результата с исходным текстом.
  • Сопоставляйте векторы одной модели и размерности; отрицания и межъязыковой поиск проверяйте отдельно.

Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.

Проверить подробности

Официальные источники

  1. Карточка Multilingual E5 Large
  2. Материалы Microsoft Research по E5
  3. Семейство многоязычных моделей E5

Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.