DeepEval кірісі, жауабы және бағалау өлшемі бар сынақ жағдайларын жинауға мүмкіндік береді. Кей метрика басқа модельді пайдаланады, сондықтан шектерді мысалмен тексеру керек.

LLM қолданбаларына арналған сынақтар сипатталған DeepEval репозиторийі. Дереккөзді ашу

Білінбей қалған регрессияны қалай табуға болады

Нұсқау түзетілгеннен кейін көмекші қысқа жауап береді, бірақ маңызды ерекшелікті өткізе бастады. DeepEval мұны қайталанатын сынаққа айналдыруға көмектеседі. Сұрақты, бастапқы материалды және күтілетін шартты сақтаңыз. Метрикаға модельдік бағалаушы қажет болса, оны әуелі бағасы белгілі бірнеше жауаппен тексеріңіз. «Сапаны бағала» деген сөз тым жалпы. Мысалы, ерекше шарт нақты кіріске қатысты болғанда аталды ма, соны анықтау керек.

Басы ұқсас екі жауап

Дұрыс жауапты, шарты түсіп қалған жауапты және дереккөзде жоқ тұжырымы бар жауапты құрыңыз. Таңдалған тексеруді іске қосып, шешімін қолмен қойылған белгімен салыстырыңыз. Өлшем қатені өткізіп алса, оны нақтылаңыз немесе бөлек ереже қосыңыз. Шекті алғашқы іріктемеге шамадан тыс бейімдемеу үшін баптаудан кейін бірнеше шекаралық мысал қосыңыз.

Нұсқаудың жаңа нұсқасына сол жиынтықты жүргізіңіз. Әр сұрақтың бағасын сақтаңыз, өйткені бір орташа көрсеткіш өзгерістерді жасырады.

Модельмен тексеру қай кезде орынды

Дәл міндетті өрісті сенімді шығаруға болса, оны кодпен тексерген дұрыс. Бағалау моделі мағыналық белгілерге пайдалы, бірақ шешімін іріктемемен қайта қарап тұрыңыз. Бағалаушы нұсқасын, параметрлерін және қолданылған конфигурациядағы сынақ құнын жазыңыз. Нәтиже шек маңында құбылса, сынақты міндетті релиз тексеруіне қоспай тұрып, нақты жауаптарды талдаңыз. Әр метриканың сипаттамасын сынақ жиынтығымен бірге сақтаңыз.

Қандай тапсырмаларға жарайды

Нұсқау түзетілгеннен кейін жауап нашарлағанын байқау
Метриканы қолмен белгіленген мысалдарда тексеру

Мүмкіндіктер

Артықшылықтары

Сынақ жағдайлары мен метрика нұсқалары құжатталған
Пәрмен жолынан сынақ жүргізуге болады

Ескерген жөн

Шектеулер

Бағалау моделі қателесіп, әр сұрауда шешімін өзгертуі мүмкін
Өлшемдер мен шектерді қолмен белгіленген мысалдармен салыстыру қажет

Таңдау және шарттар

Тегін режим: Иә
Сынақ кезеңі: Расталмаған
Тіркелусіз: Расталмаған
Орысша интерфейс: Расталмаған
Жергілікті орнату: Иә
API: Расталмаған

«Расталмаған» деген белгі мәліметтің жеткіліксіз екенін білдіреді. Мүмкіндік бар болуы ықтимал; әзірлеушінің шарттарын тексеріңіз.

Бастапқы пішімдер: Мәтін, Деректер
Нәтиже: Деректер, Мәтін

Шарттар

Ашық кітапханаға міндетті тариф жоқ. Бағалау моделінің сұраулары мен бұлттық платформа функциялары бөлек есептеледі. Бағалау моделі қателесіп, әр сұрауда шешімін өзгертуі мүмкін.

Тапсырмадан алғашқы нәтижеге

Практикалық мысал

Тапсырма: Нұсқау түзетілгеннен кейін жауап нашарлағанын байқау
Не дайындау керек: Оқу сұрақтары, күтілетін шарттар, дұрыс және қате жауаптар.

Тапсырма немесе сұрау

Жауаптарды бір бекітілген өлшеммен бағала. Нұсқауды өзгерткеннен кейін қайталап, бағасы өзгерген жағдайларды көрсет.

Күтілетін нәтиже

Бағалары мен тексерілетін мысалдары бар регрессиялар тізімі.

Нәтижені қалай тексеруге болады

Бағаларды қолмен қойылған белгілермен салыстырыңыз.
Бірнеше шекаралық жағдайды шек баптауынан тыс қалдырыңыз.

Бұл сервисті жеке сынаудың нәтижесі емес, тапсырманы қоюға арналған редакциялық оқу мысалы. Қажетті режимнің қолжетімділігін, бастапқы материалдарға құқықтарды және нәтижені пайдалану шарттарын тексеріңіз.

Толық мәліметті тексеру

Ресми дереккөздер

Сипаттама әзірлеуші материалдары бойынша жасалған. Мүмкіндіктер, бағалар мен қолжетімділік өзгеруі мүмкін; пайдаланбас бұрын бастапқы дереккөзбен салыстырыңыз.

DeepEval.