В DeepEval можно собрать тестовые случаи с входом, ответом и критериями. Часть метрик использует другую модель, поэтому пороги нужно сверять с примерами.

Репозиторий DeepEval с описанием тестов для приложений с LLM. Открыть источник

Как заметить тихую регрессию

После правки инструкции помощник отвечает короче, но начал пропускать важное исключение. DeepEval помогает превратить такой случай в повторяемый тест. Сохраните вопрос, исходный материал и ожидаемое условие. Если для метрики нужен оценщик на основе модели, сначала проверьте его на нескольких ответах с известной разметкой. Фраза «оцени качество» слишком широка. Например, важно выяснить, упомянуто ли исключение, когда оно применяется к конкретному входу.

Два ответа с похожим началом

Составьте правильный ответ, ответ с потерянным условием и ответ с утверждением, которого нет в источнике. Запустите выбранную проверку и сравните ее решение с ручной меткой. Если критерий пропускает ошибку, уточните его или добавьте отдельное правило. Включите несколько пограничных примеров после настройки, чтобы не подгонять порог под первую подборку.

При новой версии инструкции прогоните тот же набор. Сохраните оценки на уровне отдельных вопросов, иначе один средний показатель скроет изменения.

Когда проверка с моделью уместна

Точное обязательное поле лучше проверять программно, если его можно надежно извлечь. Модель оценки полезна для смысловых признаков, но ее суждение стоит пересматривать по выборке. Запишите версию оценщика, параметры и цену прогона в используемой конфигурации. Если результат колеблется около порога, разберите конкретные ответы до того, как сделаете тест обязательной проверкой релиза. Храните описание каждой метрики вместе с тестовым набором.

Для каких задач подходит

Отследить ухудшение ответов после правки инструкции
Проверить пригодность выбранной метрики на размеченных примерах

Возможности

Сильные стороны

Документирует тестовые случаи и варианты метрик
Поддерживает тестовые прогоны из командной строки

Стоит учитывать

Ограничения

Модель оценки может ошибиться и поменять решение между вызовами
Критерии и пороги нужно сопоставить с ручными примерами

Выбор и условия

Бесплатный режим: Да
Пробный период: Не подтверждено
Без регистрации: Не подтверждено
Русский интерфейс: Не подтверждено
Локальная установка: Да
API: Не подтверждено

«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.

Исходные форматы: Текст, Данные
Результат: Данные, Текст

Условия

У открытой библиотеки нет обязательного тарифа. Вызовы модели оценки и функции облачной платформы учитываются отдельно. Модель оценки может ошибиться и поменять решение между вызовами.

От задачи к первому результату

Практический пример

Задача: Отследить ухудшение ответов после правки инструкции
Что подготовить: Учебные вопросы, ожидаемые условия, правильные и ошибочные ответы.

Задание или запрос

Оцени ответы по одному утвержденному критерию. Повтори прогон после изменения инструкции и покажи случаи, в которых оценка изменилась.

Ожидаемый результат

Список регрессий с оценками и проверяемыми примерами.

Как проверить результат

Сверьте оценки с ручной разметкой.
Оставьте несколько пограничных случаев вне настройки порога.

Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.

Проверить подробности

Официальные источники

Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.

DeepEval.