Canonical: https://instain.ru/kk/ai/promptfoo/
Language: kk

OpenAI  жасанды интеллект қолданбаларының қауіпсіздігін тексеру құралы

# Promptfoo. 

Тілдік модель қолданбаларының әрекетін қайталап тексеру

4.40 / 5    [Каталог бағасы](https://instain.ru/kk/ai/promptfoo/#editorial-rating) [Ресми сайт ](https://developers.openai.com/api/docs/guides/promptfoo-codex)

Promptfoo жасанды интеллект қолданбаларына кірістер мен тексерулер жинағын жүргізеді. Оны өз ортаңыздағы өзгерістер мен келісілген ережелерді бағалауға болады.

![Promptfoo есебінің мысалы бар OpenAI нұсқаулығы](https://instain.ru/assets/images/promptfoo-screen-a04439ab6fe4-1200.webp)

Promptfoo есебінің мысалы бар OpenAI нұсқаулығы.  [Дереккөзді ашу ](https://developers.openai.com/api/docs/guides/promptfoo-codex)

## Бас тарту сөзін ғана тексермеңіз

Агент ештеңені өзгертпегенін сыпайы айтуы мүмкін, ал құрал пәрменді жіберіп қойған болады. Promptfoo ішінде жауап пен орындалу барысының қолжетімді белгілерін тексеретін сценарийлер жинауға болады. Алғашқы сынақта өз қолданбаңыздың сынақ нұсқасын және сыртқы құралдың алмастырғышын пайдаланыңыз. Рұқсат етілетін операцияларды анықтап, шақыру журналын сақтаңыз. Сонда қорытынды модель мәтінінің сенімділігіне ғана тәуелді болмайды.

## Өкілет шекарасының оқу мысалы

Сынақ көмекшісі тапсырыс күйін оқи алады, өзгертуге адам растауы керек. Күй туралы қарапайым сұрақ, екіұшты өтініш және жазбаны өзгерту туралы айқын талап жазыңыз. Жауаппен бірге жазу құралы қанша рет шақырылғанын тексеріңіз. Модель өзгерсе, сол деректермен жиынтықты қайталаңыз. Қауіпті әрекетті түзеткен кезде рұқсатты оқу да істен шықпағанына көз жеткізіңіз.

## Тексеруді не қайталанатын етеді

Кірістерді, күтілетін нәтижелерді және қолданба нұсқасын бірге сақтаңыз. Нәтижені басқа модель бағаласа, даулы жағдайларды қолмен қараңыз. Журналда жазба бар ма деген құрылымды белгіге кодтағы дәл тексеруді қолданыңыз. Жиынтық берілген жағдайларды қамтиды. Рөлдер мен құралдар өзгергенде жаңа мысалдар қосып, рұқсат пен орта шекарасын сақтаңыз. Әр сынақта агенттің нақты рұқсатын жазыңыз. Қолданба бірнеше топқа қызмет етсе, сценарийді басқа рөлмен қайталаңыз.

## Қандай тапсырмаларға жарайды

- Сынақ агенті тек рұқсат етілген әрекет орындайтынын тексеру

- Екі конфигурацияны бір жиынтықта салыстыру

Мүмкіндіктер 

## Артықшылықтары

- Қайталауға болатын сынақтар мен нәтиже тексерулерін қолдайды

- Интеграция мен бағалау жөнінде ресми нұсқаулар бар

Ескерген жөн 

## Шектеулер

- Өз қолданбаңызды немесе рұқсат берілген ортаны ғана тексеріңіз

- Мәтін бағасы сыртқы әрекеттер мен рөлдерді тексеруді алмастырмайды

## Таңдау және шарттар

Тегін режим

Иә

Сынақ кезеңі

Расталмаған

Тіркелусіз

Расталмаған

Орысша интерфейс

Расталмаған

Жергілікті орнату

Иә

API

Расталмаған

«Расталмаған» деген белгі мәліметтің жеткіліксіз екенін білдіреді. Мүмкіндік бар болуы ықтимал; әзірлеушінің шарттарын тексеріңіз.

Бастапқы пішімдер

Мәтін, Код

Нәтиже

Мәтін, Деректер

### Шарттар

Ашық кітапханаға міндетті жазылым жоқ. Модель сұраулары, есептеу және басқарылатын мүмкіндіктер бөлек есептеледі. Өз қолданбаңызды немесе рұқсат берілген ортаны ғана тексеріңіз.

Тапсырмадан алғашқы нәтижеге

## Практикалық мысал

Тапсырма

Сынақ агенті тек рұқсат етілген әрекет орындайтынын тексеру

Не дайындау керек

Көмекшінің сынақ көшірмесі және ойдан шығарылған оқу мен жазу саясаты.

### Тапсырма немесе сұрау

Қалыпты және шекаралық сұрауларды іске қос. Рұқсатты оқу жұмыс істейтінін және рұқсатсыз әрекет журналда жоқ екенін тексер.

### Күтілетін нәтиже

Кірістер, байқалған әрекеттер және ережелерге ескертулер берілген есеп.

### Нәтижені қалай тексеруге болады

- Құрал журналын жауап мәтінінен бөлек тексеріңіз.

- Сынақты келісілген ортада ғана жүргізіңіз.

Бұл сервисті жеке сынаудың нәтижесі емес, тапсырманы қоюға арналған редакциялық оқу мысалы. Қажетті режимнің қолжетімділігін, бастапқы материалдарға құқықтарды және нәтижені пайдалану шарттарын тексеріңіз.

Толық мәліметті тексеру

## Ресми дереккөздер

-  [OpenAI ұсынған Promptfoo нұсқаулығы ](https://developers.openai.com/api/docs/guides/promptfoo-codex)

-  [Promptfoo ресми кіріспесі ](https://www.promptfoo.dev/docs/intro/)

Сипаттама әзірлеуші материалдары бойынша жасалған. Мүмкіндіктер, бағалар мен қолжетімділік өзгеруі мүмкін; пайдаланбас бұрын бастапқы дереккөзбен салыстырыңыз.

Құрал туралы қысқаша

Әзірлеуші

OpenAI

Санат

[Код](https://instain.ru/kk/category/code/)

Қолжетімділік

Ашық құрал жобадан іске қосылады. Тексеруге сыналатын қолданба және қажет болса бағалау моделі қосылады.

Төлем

Ашық кітапханаға міндетті жазылым жоқ. Модель сұраулары, есептеу және басқарылатын мүмкіндіктер бөлек есептеледі.

API

Бөлек API көрсетілмеген

[Әзірлеуші шарттары ](https://www.promptfoo.dev/docs/intro/)

Каталог бағасы

4.40 / 5 

Мүмкіндіктер

4.50 / 5 

Жұмыс сценарийлері

4.10 / 5 

Экожүйе

4.40 / 5 

Құжаттама

4.60 / 5 

Баллдар — каталог бағдары. Олар пайдаланушы пікірлері не жеке сынақ нәтижесі емес.

[Әдістемені қарау ](https://instain.ru/kk/methodology/)

Танысуды жалғастыру

## Ұқсас тапсырмалар үшін

[Толық санат  ](https://instain.ru/kk/category/code/)

Код 

###  [Inspect AI](https://instain.ru/kk/ai/inspect-ai/)

Кіріс жиыны, әрекет реті және нәтиже тексеруі бар тапсырмалар

4.38 / 5   тілдік модельдерді бағалау фреймворкі  

Ұқсас тапсырмалар; шарттарды, пішімдерді және шектеулерді салыстырыңыз

Код 

###  [NVIDIA NeMo Guardrails](https://instain.ru/kk/ai/nvidia-nemo-guardrails/)

Модель кірісі, шығысы және әрекеттеріне арналған бағдарламаланатын ережелер

4.30 / 5   модельді қолданбалардың ереже кітапханасы  

Ұқсас тапсырмалар; шарттарды, пішімдерді және шектеулерді салыстырыңыз