Phoenix принимает трассы приложений с моделями. Команда может открыть цепочку вызовов и связать оценки качества с отдельным шагом или целым ответом.
Как увидеть, что произошло до ответа
В приложении с поиском один неудачный ответ может скрывать несколько причин. Индекс не вернул нужный фрагмент, фильтр выбросил его или модель неверно прочитала найденный текст. Arize Phoenix собирает данные о шагах в трассу. Когда инструментирование настроено, разработчик может открыть поисковый вызов отдельно от генерации. Для первого опыта достаточно одной обезличенной цепочки и вопроса с известным источником.
Отметки на учебной трассе
Возьмите два ответа на один вопрос. В первом случае в контексте есть нужный абзац, во втором его нет. Проверьте, какое событие передает фрагменты модели и какой текст она вернула. Поставьте отдельные метки качества поиска и качества вывода. Затем сравните ручную оценку с выбранным автоматическим оценщиком. Если модель поставила хорошую оценку неверному ответу, сохраните этот пример и уточните критерий.
Что оставить в журнале
Уберите чувствительные сведения до передачи трасс. Для поиска задержки иногда хватает имен шагов, длительности и обезличенных идентификаторов. Содержание вопроса и найденных документов нужно хранить только там, где это предусмотрено. Настройте сроки и роли, проверьте, что один и тот же ответ можно связать с нужной версией индекса и модели. При росте нагрузки отдельно оцените объем наблюдаемых данных и частоту автоматических оценок. Сравнивайте одинаковые типы трасс в разных прогонах.
Для каких задач подходит
- Найти провал поиска в цепочке запросов
- Сравнить ручные метки качества и автоматические оценки
Сильные стороны
- Показывает связанные шаги модели и инструментов
- Документирует оценивание с моделью и просмотр трасс
Ограничения
- Трассы нужно безопасно инструментировать
- Оценка модели требует сверки с ручной разметкой
Выбор и условия
- Бесплатный режим
- Да
- Пробный период
- Не подтверждено
- Без регистрации
- Не подтверждено
- Русский интерфейс
- Не подтверждено
- Локальная установка
- Да
- API
- Не подтверждено
«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.
- Исходные форматы
- Данные, Текст
- Результат
- Текст, Данные
Условия
У открытой версии нет платы за лицензию библиотеки. Размещение, сохранение трасс и модели оценки имеют отдельные расходы. Трассы нужно безопасно инструментировать.От задачи к первому результату
Практический пример
- Задача
- Найти провал поиска в цепочке запросов
- Что подготовить
- Тестовая трасса помощника с вопросом, результатами поиска и ответом.
Задание или запрос
Найди шаг, на котором потерялся нужный фрагмент. Сравни оценку правильности ответа и пригодность контекста.
Ожидаемый результат
Помеченная трасса с обоснованным выводом о проблемном шаге.
Как проверить результат
- Сверьте вывод с ручной разметкой.
- Проверьте, какие поля трассы сохраняются.
Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.
Проверить подробности
Официальные источники
Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.