Olmo подходит исследователям и разработчикам, которым важны происхождение контрольной точки, доступные материалы обучения и воспроизводимое сравнение.
Что значит воспроизводимое сравнение
Две модели могут давать разные ответы в зависимости от контрольной точки, способа запуска или настроек генерации. Ai2 публикует для Olmo открытые веса и материалы процесса обучения. Это позволяет зафиксировать, какой вариант участвует в опыте, и обратиться к описанию его подготовки. Если задача состоит в сравнении этапов обучения, начните с документированных контрольных точек одного семейства. Храните точные идентификаторы моделей рядом с программой проверки.
Один набор вопросов для двух вариантов
Возьмем учебную инструкцию возврата товара. Подготовьте вопросы со сроком, исключением и отсутствующей деталью. Для каждого запишите подтверждающее предложение либо отметьте, что сведений нет. Запустите обе контрольные точки с одинаковым входом, параметрами вывода и лимитом результата. Для модели, обученной отвечать в чате, используйте документированный шаблон диалога и запишите отличие от базового варианта. Затем вручную проверьте, сколько ответов можно связать с исходником.
Что положить в журнал
Сохраните версию библиотеки, устройство, точность вычислений и формат весов. Если используете сжатый вариант, зафиксируйте метод. Время ответа и требования к памяти сравнивайте в одном окружении, а случайные изменения проверяйте повторными прогонами. Результат учебного набора относится к этим примерам. Для применения в другом языке или типе документов добавьте отдельные входы и критерии качества. Приложите к журналу несколько расхождений и объясните, почему они существенны для задачи.
Для каких задач подходит
- Сравнить ответы двух документированных контрольных точек
- Проверить, что меняется после настройки на инструкции
Сильные стороны
- Ai2 раскрывает материалы и этапы обучения
- Есть официальные модельные карточки и руководство по запуску
Ограничения
- Для повторения опыта нужны одинаковые настройки и данные
- Память и скорость зависят от размера и способа запуска
Выбор и условия
- Бесплатный режим
- Да
- Пробный период
- Не подтверждено
- Без регистрации
- Не подтверждено
- Русский интерфейс
- Не подтверждено
- Локальная установка
- Да
- API
- Не подтверждено
«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.
- Исходные форматы
- Текст
- Результат
- Текст
Условия
Веса и материалы открытых релизов доступны по условиям соответствующих лицензий. Вычислительные ресурсы и управляемые вызовы могут оплачиваться отдельно. Для повторения опыта нужны одинаковые настройки и данные.От задачи к первому результату
Практический пример
- Задача
- Сравнить ответы двух документированных контрольных точек
- Что подготовить
- Короткая инструкция по возврату товара, сохраненная обычным текстом.
Задание или запрос
На основе этой инструкции составь три вопроса для проверки понимания. Для каждого укажи правильный ответ и подтверждающее предложение из входа. Если срок или условие отсутствует, прямо скажи об этом.
Ожидаемый результат
Три проверяемые пары вопрос-ответ, основанные на переданном тексте.
Как проверить результат
- Сопоставьте каждый ответ с исходным предложением.
- Повторите задание с выбранной локальной моделью и оцените время и расход памяти на своем устройстве.
Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.
Проверить подробности
Официальные источники
Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.
