Canonical: https://instain.ru/kk/ai/huggingface-trl/
Language: kk

Hugging Face  модельді бастапқы оқытудан кейін жетілдіру кітапханасы

# Hugging Face TRL. 

DPO және жауап жұптары бар қосымша оқыту кітапханасы

4.40 / 5    [Каталог бағасы](https://instain.ru/kk/ai/huggingface-trl/#editorial-rating) [Ресми сайт ](https://huggingface.co/docs/trl/index)

DPO үшін бір сұрауға таңдаулы және сәтсіздеу жауап тіркеледі. TRL дайын оқыту класын береді және қолдау көрсетілетін пішімдерді сипаттайды.

![DPO Trainer мысалдарының пішімі берілген Hugging Face анықтамасы](https://instain.ru/assets/images/huggingface-trl-screen-0ad4e55f7939-1200.webp)

DPO Trainer мысалдарының пішімі берілген Hugging Face анықтамасы.  [Дереккөзді ашу ](https://huggingface.co/docs/trl/dpo_trainer#expected-dataset-type-and-format)

## Жауап жұбын қалай белгілеу керек

Ішкі анықтамалыққа арналған оқу көмекшісін елестетіңіз. Мерзімді ауыстыру сұрағына бір жауап ережені дәл жеткізеді, ал екіншісі жоқ ерекшелікті ойдан шығарады. DPO үшін сұрауды және екі жауапты сақтап, біріншісін таңдаулы деп белгілеуге болады. Екінші жауап бір мезгілде ұзақ әрі дәлдігі төмен болса, модель таңдауды ұзындықпен байланыстыруы мүмкін. Стилі бірдей, бірақ дерек қатесі әртүрлі бірнеше жұп құрыңыз. Сонда критерий деректерде айқынырақ көрінеді.

## TRL жүйесіне не беру керек

DPOTrainer жүйесінде prompt, chosen және rejected өрістері бар дерек жиыны қарастырылған. Диалог мысалдарына рөл өрістері қолжетімді. Екі нұсқа бір сұраққа жауап беретінін және сұрау мен анықтамалықта жоқ мәлімет қоспайтынын тексеріңіз. Кейін тексеруге анықтамалықтың басқа бөлімінен сұрақ қалдырыңыз. Таңдаулы жауап кіріс мәліметін нақтылауды сұрайтын жұп та дайындаңыз.

## Қосымша оқытудан кейінгі бақылау

Дәл жауаптарды, орынды нақтылауларды және сенімді айтылған ойдан шығарылған деректерді бөлек тексеріңіз. Қысқа стиль жалпы бағаны көтеруі мүмкін, бірақ бұрынғы дұрыс жауаптардың бір бөлігі жоғалуы ықтимал. Осындай бірнеше мысалды сынақ параметрлерінің қасында сақтаңыз. Оқыту мен сынақтағы диалог үлгісі бірдей ме, тексеріңіз. Бастапқы модельмен бір сұрақ жиынында, бірдей контексте және генерация баптауларында салыстырыңыз. Маңызды сценарийлерде автоматты көрсеткіштерді мазмұнды қолмен тексерумен толықтырыңыз.

## Қандай тапсырмаларға жарайды

- Жауап жұптарымен оқытуды тексеру

- Модельді DPO алдында және кейін салыстыру

Мүмкіндіктер 

## Артықшылықтары

- DPOTrainer класы мен мысал пішімдері дайын

- Кітапхана Transformers экожүйесімен байланысты

Ескерген жөн 

## Шектеулер

- Жиындағы артықшылық белгілері соңғы әрекетке ықпал етеді

- Оқу жиынынан тыс тексеруге бөлек белгілеу керек

## Таңдау және шарттар

Тегін режим

Иә

Сынақ кезеңі

Расталмаған

Тіркелусіз

Расталмаған

Орысша интерфейс

Расталмаған

Жергілікті орнату

Иә

API

Расталмаған

«Расталмаған» деген белгі мәліметтің жеткіліксіз екенін білдіреді. Мүмкіндік бар болуы ықтимал; әзірлеушінің шарттарын тексеріңіз.

Бастапқы пішімдер

Мәтін, Деректер

Нәтиже

Деректер, модель

### Шарттар

Ашық кітапхананың бөлек тарифі жоқ. Есептеу, орналастыру және бастапқы модельді қолдану шарттары бөлек ескеріледі. Жиындағы артықшылық белгілері соңғы әрекетке ықпал етеді.

Тапсырмадан алғашқы нәтижеге

## Практикалық мысал

Тапсырма

Жауап жұптарымен оқытуды тексеру

Не дайындау керек

Оқу сұраулары мен жауаптарының жиыны, үйлесімді модель және бөлек тексеру мысалдары.

### Тапсырма немесе сұрау

Қысқа оқу сынағын дайында. Модель параметрлерін сақтап, бірдей тексеру сұрауларына оқытуға дейін және кейін берілген жауаптарды салыстыр.

### Күтілетін нәтиже

Сапа өзгерісі туралы есеп және бапталған адаптер немесе бақылау нүктесі.

### Нәтижені қалай тексеруге болады

- Көшірмелер мен жақын нұсқаларды жиындар арасында қайталамаңыз.

- Мазмұн қатесі мен пішімнен ауытқуды бөлек белгілеңіз.

Бұл сервисті жеке сынаудың нәтижесі емес, тапсырманы қоюға арналған редакциялық оқу мысалы. Қажетті режимнің қолжетімділігін, бастапқы материалдарға құқықтарды және нәтижені пайдалану шарттарын тексеріңіз.

Толық мәліметті тексеру

## Ресми дереккөздер

-  [Hugging Face TRL құжаттамасы ](https://huggingface.co/docs/trl/index)

-  [DPO жаттықтыру құралы және дерек пішімдері ](https://huggingface.co/docs/trl/dpo_trainer)

-  [TRL ресми репозиторийі ](https://github.com/huggingface/trl)

Сипаттама әзірлеуші материалдары бойынша жасалған. Мүмкіндіктер, бағалар мен қолжетімділік өзгеруі мүмкін; пайдаланбас бұрын бастапқы дереккөзбен салыстырыңыз.

Құрал туралы қысқаша

Әзірлеуші

Hugging Face

Санат

[Код](https://instain.ru/kk/category/code/)

Қолжетімділік

Үйлесімді модель, тиісті деректер және есептеу ортасы қажет. Іске қосарда Transformers пен тәуелділік нұсқаларын салыстырыңыз.

Төлем

Ашық кітапхананың бөлек тарифі жоқ. Есептеу, орналастыру және бастапқы модельді қолдану шарттары бөлек ескеріледі.

API

Бөлек API көрсетілмеген

[Әзірлеуші шарттары ](https://github.com/huggingface/trl)

Каталог бағасы

4.40 / 5 

Мүмкіндіктер

4.50 / 5 

Жұмыс сценарийлері

4.00 / 5 

Экожүйе

4.60 / 5 

Құжаттама

4.50 / 5 

Баллдар — каталог бағдары. Олар пайдаланушы пікірлері не жеке сынақ нәтижесі емес.

[Әдістемені қарау ](https://instain.ru/kk/methodology/)

Танысуды жалғастыру

## Ұқсас тапсырмалар үшін

[Толық санат  ](https://instain.ru/kk/category/code/)

Код 

###  [Unsloth](https://instain.ru/kk/ai/unsloth/)

Үйлесімді модельдерді LoRA адаптерлері арқылы қосымша оқыту

4.45 / 5   модельді қосымша оқыту құралдары  

Ұқсас тапсырмалар; шарттарды, пішімдерді және шектеулерді салыстырыңыз