Кітапхана сақталған мысалдар арқылы іздеу мен генерацияның жұмысын бағалауға көмектеседі. Faithfulness метрикасы табылған үзінділерден қандай тұжырымдар шығатынын тексереді.
Модель көрген үзінділерді сақтаңыз
Қайтару туралы сұраққа көмекші сенімді жауап береді, бірақ табылған мақалада ол атаған мерзім жоқ. Себепті түсіну үшін сұрақты, жауапты және модель сұрауына нақты кірген үзінділерді сақтаңыз. Ragas жүйесінде Faithfulness метрикасы контекстке сүйенбеген тұжырымдарды табуға көмектеседі. Дұрыс үзінді мүлде табылмаса немесе артық материалдардан төмен тұрса, іздеуді бөлек тексеру керек.
Оқу тексеруін қалай дайындау керек
Ойдан шығарылған дүкен ережелері мен бірнеше сұрауды алыңыз. Бір мысалда жауап жоқ мерзімді қосады, екіншісінде табылған ережені дұрыс жеткізеді, үшіншісінде қосымша сұрақ керек. Автоматты бағалауды салыстыру үшін қолмен белгілеу пайдалы. Іздеу тәсілі өзгергенде жалпы көрсеткішпен бірге сол сұрақтардың жеке жауаптарын да салыстырыңыз. Сонда қай баптау контексті жақсартқаны және қандай қателер қалғаны көрінеді.
Бағалау қай жерде қателесуі мүмкін
Табылған құжатта ескірген ереже болса, жауап ресми түрде соған сәйкес келуі мүмкін. Фактілерді тексеруге қосымша өзекті дереккөз керек. Бағалаушы модель терістеуді немесе ерекшелік шарттарын басқаша түсінуі ықтимал. Осындай бірнеше мысалды қолмен тексеруге таңдаңыз және нәтижемен бірге метрика нұсқасын сақтаңыз. Қызметтік материалды бағалау үшін қолданатын сыртқы жеткізушіге беруге болатынын алдын ала шешіп, деректер жиынын шектеңіз.
Қандай тапсырмаларға жарайды
- Дәлелсіз тұжырымдары бар жауаптарды табу
- Бірдей сұрақтарда іздеудің екі нұсқасын салыстыру
Артықшылықтары
- Жауап пен іздеуге бөлек метрикалар бар
- Анықтамада күтілетін кірістер мен есептеу жолы егжей-тегжейлі берілген
Шектеулер
- Модельдік бағалау екіұшты мысалдарда қателесуі мүмкін
- Контекстің растауы дереккөздің дұрыс екенін білдірмейді
Таңдау және шарттар
- Тегін режим
- Иә
- Сынақ кезеңі
- Расталмаған
- Тіркелусіз
- Расталмаған
- Орысша интерфейс
- Расталмаған
- Жергілікті орнату
- Иә
- API
- Расталмаған
«Расталмаған» деген белгі мәліметтің жеткіліксіз екенін білдіреді. Мүмкіндік бар болуы ықтимал; әзірлеушінің шарттарын тексеріңіз.
- Бастапқы пішімдер
- Мәтін, Деректер
- Нәтиже
- Деректер, Мәтін
Шарттар
Кітапхана ашық код ретінде қолжетімді. Сыртқы бағалаушы модель сұраулары үшін оның тарифі бойынша ақы алынуы мүмкін. Модельдік бағалау екіұшты мысалдарда қателесуі мүмкін.Тапсырмадан алғашқы нәтижеге
Практикалық мысал
- Тапсырма
- Дәлелсіз тұжырымдары бар жауаптарды табу
- Не дайындау керек
- Оқу сұрақтары, күтілетін шарттар, дұрыс және қате жауаптар.
Тапсырма немесе сұрау
Жауаптарды бір бекітілген өлшеммен бағала. Нұсқауды өзгерткеннен кейін қайталап, бағасы өзгерген жағдайларды көрсет.
Күтілетін нәтиже
Бағалары мен тексерілетін мысалдары бар регрессиялар тізімі.
Нәтижені қалай тексеруге болады
- Бағаларды қолмен қойылған белгілермен салыстырыңыз.
- Бірнеше шекаралық жағдайды шек баптауынан тыс қалдырыңыз.
Бұл сервисті жеке сынаудың нәтижесі емес, тапсырманы қоюға арналған редакциялық оқу мысалы. Қажетті режимнің қолжетімділігін, бастапқы материалдарға құқықтарды және нәтижені пайдалану шарттарын тексеріңіз.
Толық мәліметті тексеру
Ресми дереккөздер
Сипаттама әзірлеуші материалдары бойынша жасалған. Мүмкіндіктер, бағалар мен қолжетімділік өзгеруі мүмкін; пайдаланбас бұрын бастапқы дереккөзбен салыстырыңыз.
