Promptfoo жасанды интеллект қолданбаларына кірістер мен тексерулер жинағын жүргізеді. Оны өз ортаңыздағы өзгерістер мен келісілген ережелерді бағалауға болады.
Бас тарту сөзін ғана тексермеңіз
Агент ештеңені өзгертпегенін сыпайы айтуы мүмкін, ал құрал пәрменді жіберіп қойған болады. Promptfoo ішінде жауап пен орындалу барысының қолжетімді белгілерін тексеретін сценарийлер жинауға болады. Алғашқы сынақта өз қолданбаңыздың сынақ нұсқасын және сыртқы құралдың алмастырғышын пайдаланыңыз. Рұқсат етілетін операцияларды анықтап, шақыру журналын сақтаңыз. Сонда қорытынды модель мәтінінің сенімділігіне ғана тәуелді болмайды.
Өкілет шекарасының оқу мысалы
Сынақ көмекшісі тапсырыс күйін оқи алады, өзгертуге адам растауы керек. Күй туралы қарапайым сұрақ, екіұшты өтініш және жазбаны өзгерту туралы айқын талап жазыңыз. Жауаппен бірге жазу құралы қанша рет шақырылғанын тексеріңіз. Модель өзгерсе, сол деректермен жиынтықты қайталаңыз. Қауіпті әрекетті түзеткен кезде рұқсатты оқу да істен шықпағанына көз жеткізіңіз.
Тексеруді не қайталанатын етеді
Кірістерді, күтілетін нәтижелерді және қолданба нұсқасын бірге сақтаңыз. Нәтижені басқа модель бағаласа, даулы жағдайларды қолмен қараңыз. Журналда жазба бар ма деген құрылымды белгіге кодтағы дәл тексеруді қолданыңыз. Жиынтық берілген жағдайларды қамтиды. Рөлдер мен құралдар өзгергенде жаңа мысалдар қосып, рұқсат пен орта шекарасын сақтаңыз. Әр сынақта агенттің нақты рұқсатын жазыңыз. Қолданба бірнеше топқа қызмет етсе, сценарийді басқа рөлмен қайталаңыз.
Қандай тапсырмаларға жарайды
- Сынақ агенті тек рұқсат етілген әрекет орындайтынын тексеру
- Екі конфигурацияны бір жиынтықта салыстыру
Артықшылықтары
- Қайталауға болатын сынақтар мен нәтиже тексерулерін қолдайды
- Интеграция мен бағалау жөнінде ресми нұсқаулар бар
Шектеулер
- Өз қолданбаңызды немесе рұқсат берілген ортаны ғана тексеріңіз
- Мәтін бағасы сыртқы әрекеттер мен рөлдерді тексеруді алмастырмайды
Таңдау және шарттар
- Тегін режим
- Иә
- Сынақ кезеңі
- Расталмаған
- Тіркелусіз
- Расталмаған
- Орысша интерфейс
- Расталмаған
- Жергілікті орнату
- Иә
- API
- Расталмаған
«Расталмаған» деген белгі мәліметтің жеткіліксіз екенін білдіреді. Мүмкіндік бар болуы ықтимал; әзірлеушінің шарттарын тексеріңіз.
- Бастапқы пішімдер
- Мәтін, Код
- Нәтиже
- Мәтін, Деректер
Шарттар
Ашық кітапханаға міндетті жазылым жоқ. Модель сұраулары, есептеу және басқарылатын мүмкіндіктер бөлек есептеледі. Өз қолданбаңызды немесе рұқсат берілген ортаны ғана тексеріңіз.Тапсырмадан алғашқы нәтижеге
Практикалық мысал
- Тапсырма
- Сынақ агенті тек рұқсат етілген әрекет орындайтынын тексеру
- Не дайындау керек
- Көмекшінің сынақ көшірмесі және ойдан шығарылған оқу мен жазу саясаты.
Тапсырма немесе сұрау
Қалыпты және шекаралық сұрауларды іске қос. Рұқсатты оқу жұмыс істейтінін және рұқсатсыз әрекет журналда жоқ екенін тексер.
Күтілетін нәтиже
Кірістер, байқалған әрекеттер және ережелерге ескертулер берілген есеп.
Нәтижені қалай тексеруге болады
- Құрал журналын жауап мәтінінен бөлек тексеріңіз.
- Сынақты келісілген ортада ғана жүргізіңіз.
Бұл сервисті жеке сынаудың нәтижесі емес, тапсырманы қоюға арналған редакциялық оқу мысалы. Қажетті режимнің қолжетімділігін, бастапқы материалдарға құқықтарды және нәтижені пайдалану шарттарын тексеріңіз.
Толық мәліметті тексеру
Ресми дереккөздер
Сипаттама әзірлеуші материалдары бойынша жасалған. Мүмкіндіктер, бағалар мен қолжетімділік өзгеруі мүмкін; пайдаланбас бұрын бастапқы дереккөзбен салыстырыңыз.
