DPO үшін бір сұрауға таңдаулы және сәтсіздеу жауап тіркеледі. TRL дайын оқыту класын береді және қолдау көрсетілетін пішімдерді сипаттайды.
Жауап жұбын қалай белгілеу керек
Ішкі анықтамалыққа арналған оқу көмекшісін елестетіңіз. Мерзімді ауыстыру сұрағына бір жауап ережені дәл жеткізеді, ал екіншісі жоқ ерекшелікті ойдан шығарады. DPO үшін сұрауды және екі жауапты сақтап, біріншісін таңдаулы деп белгілеуге болады. Екінші жауап бір мезгілде ұзақ әрі дәлдігі төмен болса, модель таңдауды ұзындықпен байланыстыруы мүмкін. Стилі бірдей, бірақ дерек қатесі әртүрлі бірнеше жұп құрыңыз. Сонда критерий деректерде айқынырақ көрінеді.
TRL жүйесіне не беру керек
DPOTrainer жүйесінде prompt, chosen және rejected өрістері бар дерек жиыны қарастырылған. Диалог мысалдарына рөл өрістері қолжетімді. Екі нұсқа бір сұраққа жауап беретінін және сұрау мен анықтамалықта жоқ мәлімет қоспайтынын тексеріңіз. Кейін тексеруге анықтамалықтың басқа бөлімінен сұрақ қалдырыңыз. Таңдаулы жауап кіріс мәліметін нақтылауды сұрайтын жұп та дайындаңыз.
Қосымша оқытудан кейінгі бақылау
Дәл жауаптарды, орынды нақтылауларды және сенімді айтылған ойдан шығарылған деректерді бөлек тексеріңіз. Қысқа стиль жалпы бағаны көтеруі мүмкін, бірақ бұрынғы дұрыс жауаптардың бір бөлігі жоғалуы ықтимал. Осындай бірнеше мысалды сынақ параметрлерінің қасында сақтаңыз. Оқыту мен сынақтағы диалог үлгісі бірдей ме, тексеріңіз. Бастапқы модельмен бір сұрақ жиынында, бірдей контексте және генерация баптауларында салыстырыңыз. Маңызды сценарийлерде автоматты көрсеткіштерді мазмұнды қолмен тексерумен толықтырыңыз.
Қандай тапсырмаларға жарайды
- Жауап жұптарымен оқытуды тексеру
- Модельді DPO алдында және кейін салыстыру
Артықшылықтары
- DPOTrainer класы мен мысал пішімдері дайын
- Кітапхана Transformers экожүйесімен байланысты
Шектеулер
- Жиындағы артықшылық белгілері соңғы әрекетке ықпал етеді
- Оқу жиынынан тыс тексеруге бөлек белгілеу керек
Таңдау және шарттар
- Тегін режим
- Иә
- Сынақ кезеңі
- Расталмаған
- Тіркелусіз
- Расталмаған
- Орысша интерфейс
- Расталмаған
- Жергілікті орнату
- Иә
- API
- Расталмаған
«Расталмаған» деген белгі мәліметтің жеткіліксіз екенін білдіреді. Мүмкіндік бар болуы ықтимал; әзірлеушінің шарттарын тексеріңіз.
- Бастапқы пішімдер
- Мәтін, Деректер
- Нәтиже
- Деректер, модель
Шарттар
Ашық кітапхананың бөлек тарифі жоқ. Есептеу, орналастыру және бастапқы модельді қолдану шарттары бөлек ескеріледі. Жиындағы артықшылық белгілері соңғы әрекетке ықпал етеді.Тапсырмадан алғашқы нәтижеге
Практикалық мысал
- Тапсырма
- Жауап жұптарымен оқытуды тексеру
- Не дайындау керек
- Оқу сұраулары мен жауаптарының жиыны, үйлесімді модель және бөлек тексеру мысалдары.
Тапсырма немесе сұрау
Қысқа оқу сынағын дайында. Модель параметрлерін сақтап, бірдей тексеру сұрауларына оқытуға дейін және кейін берілген жауаптарды салыстыр.
Күтілетін нәтиже
Сапа өзгерісі туралы есеп және бапталған адаптер немесе бақылау нүктесі.
Нәтижені қалай тексеруге болады
- Көшірмелер мен жақын нұсқаларды жиындар арасында қайталамаңыз.
- Мазмұн қатесі мен пішімнен ауытқуды бөлек белгілеңіз.
Бұл сервисті жеке сынаудың нәтижесі емес, тапсырманы қоюға арналған редакциялық оқу мысалы. Қажетті режимнің қолжетімділігін, бастапқы материалдарға құқықтарды және нәтижені пайдалану шарттарын тексеріңіз.
Толық мәліметті тексеру
Ресми дереккөздер
Сипаттама әзірлеуші материалдары бойынша жасалған. Мүмкіндіктер, бағалар мен қолжетімділік өзгеруі мүмкін; пайдаланбас бұрын бастапқы дереккөзбен салыстырыңыз.
