Для DPO к одному запросу прикладывают предпочтительный и менее удачный ответ. TRL предоставляет готовый класс обучения и описывает поддерживаемые форматы.
Как разметить пару ответов
Возьмем учебного помощника по внутреннему справочнику. На вопрос о переносе срока один ответ точно пересказывает правило, другой придумывает исключение. Для DPO можно сохранить запрос и два ответа, отметив первый как предпочтительный. Если второй одновременно длиннее и менее точен, модель может связать предпочтение с длиной. Составьте несколько пар с одинаковым стилем, но разными фактическими ошибками. Так критерий будет лучше виден в данных.
Что передать в TRL
В DPOTrainer предусмотрен набор данных с полями prompt, chosen и rejected. Для диалоговых примеров доступны поля с ролями. Проверьте, что обе версии действительно отвечают на один вопрос и не содержат сведения, которых нет в запросе или справочнике. Затем отложите вопросы из другого раздела справочника для проверки. Подготовьте также пару, где предпочтительный ответ просит уточнить входные данные.
Контроль после дообучения
Отдельно проверьте точные ответы, уместные уточнения и уверенные выдумки. Общая оценка может улучшиться из-за более краткого стиля, даже если часть старых правильных ответов пропала. Сохраните несколько таких примеров рядом с параметрами прогона. Проверьте, совпадает ли шаблон диалога при обучении и при испытании. Сравнение с исходной моделью имеет смысл на одном наборе вопросов, при одинаковом контексте и одинаковых настройках генерации. Для важных сценариев дополните автоматические показатели ручной проверкой содержания.
Для каких задач подходит
- Проверить обучение на парах ответов
- Сравнить модель до и после DPO
Сильные стороны
- Есть готовый класс DPOTrainer и форматы примеров
- Библиотека связана с экосистемой Transformers
Ограничения
- Предпочтения в выборке влияют на итоговое поведение
- Для проверки вне учебного набора нужна отдельная разметка
Выбор и условия
- Бесплатный режим
- Да
- Пробный период
- Не подтверждено
- Без регистрации
- Не подтверждено
- Русский интерфейс
- Не подтверждено
- Локальная установка
- Да
- API
- Не подтверждено
«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.
- Исходные форматы
- Текст, Данные
- Результат
- Данные, Модель
Условия
У открытой библиотеки нет отдельного тарифа. Вычисления, размещение и условия использования исходной модели учитываются отдельно. Предпочтения в выборке влияют на итоговое поведение.От задачи к первому результату
Практический пример
- Задача
- Проверить обучение на парах ответов
- Что подготовить
- Учебный набор запросов и ответов, совместимая модель и отдельные проверочные примеры.
Задание или запрос
Подготовь короткий учебный прогон. Сохрани параметры модели и сравни ее ответы до и после обучения на одинаковых проверочных запросах.
Ожидаемый результат
Отчет об изменениях качества и настроенный адаптер или контрольная точка.
Как проверить результат
- Уберите копии и близкие варианты между выборками.
- Отметьте отдельно ошибки содержания и отклонения от формата.
Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.
Проверить подробности
Официальные источники
Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.
