Inspect сынағы бастапқы мысалдарды, әрекеттесу қадамдарын және нәтижені тексеруді сипаттайды. Агент міндетінде жауапты да, журналдағы әрекеттерді де көруге болады.
Сынақ қандай деректі көрсетуі керек
Сынақ көмекшісінде модель жазбаны жаңарттым деуі мүмкін, бірақ құрал мүлде шақырылмаған болуы ықтимал. Inspect AI жүйесінде мұндай жағдайды мәтін сапасынан бөлек тексеруге болады. Тапсырмаға кіріс жиыны, әрекеттер тізбегі және нәтиже беру тәсілі белгіленеді. Құрал шақыру күйін журналмен, ал жауап тұжырымының жарамдылығын өз критерийіңізбен тексеруге болады.
Командаға шағын жиын жасаңыз
Ойдан шығарылған анықтамалық алып, сынақ көшірмесінде агентке тек оқуға рұқсат беріңіз. Кәдімгі сұрау мен өзгерісті жазу өтінішін қосыңыз. Алғашқы сұраудың дұрыс жауабында анықтамалық деректері болуы керек. Екіншісінде жазу шақыруының болмағаны маңызды. Бос мән мен белгісіз идентификаторды да дайындаңыз. Жаңа сынақты ескісімен салыстыруға ыңғайлы болу үшін осындай кірістерді тексеру ережелерінің қасында сақтаңыз.
Тексеруге оқшаулау қашан қажет
Код орындайтын сынақ үшін қолайлы оқшауланған орта таңдаңыз. Модельге тек қажет сынақ құралдарын ашып, нақты есептік деректерді сынақтан тыс ұстаңыз. Модель, нұсқау және бағалау нұсқасын бекітіңіз. Қорытынды өзгерсе, сәтсіз бір мысалды ашып, қадамдарды ретімен тексеріңіз. Сонда модель шешімі, құрал әрекеті немесе бақылауды балға айналдыратын ереже өзгергенін түсіну оңай. Есепке бастапқы сынақ сілтемесін қосып, қай компонент нұсқалары ауысқанын белгілеңіз.
Қандай тапсырмаларға жарайды
- Агентті алдын ала келісілген сценарийлерде тексеру
- Модель нұсқауы ауысқанда сынақты қайталау
Артықшылықтары
- Жиын, қадам және тексеру бөлек беріледі
- Анықтамада өз қадамдарыңызды жазу және құралдармен жұмыс сипатталған
Шектеулер
- Бағалау таңдалған сынақтар мен ережелерге тәуелді
- Бөтен кодты орындауға бөлек оқшаулау қажет
Таңдау және шарттар
- Тегін режим
- Иә
- Сынақ кезеңі
- Расталмаған
- Тіркелусіз
- Расталмаған
- Орысша интерфейс
- Расталмаған
- Жергілікті орнату
- Иә
- API
- Расталмаған
«Расталмаған» деген белгі мәліметтің жеткіліксіз екенін білдіреді. Мүмкіндік бар болуы ықтимал; әзірлеушінің шарттарын тексеріңіз.
- Бастапқы пішімдер
- Мәтін, Код
- Нәтиже
- Мәтін, Деректер
Шарттар
Фреймворк ашық. Модель шақыруы, орналастыру және орындау ортасы үшін шығын туындауы мүмкін. Бағалау таңдалған сынақтар мен ережелерге тәуелді.Тапсырмадан алғашқы нәтижеге
Практикалық мысал
- Тапсырма
- Агентті алдын ала келісілген сценарийлерде тексеру
- Не дайындау керек
- Көмекшінің сынақ көшірмесі және ойдан шығарылған оқу мен жазу саясаты.
Тапсырма немесе сұрау
Қалыпты және шекаралық сұрауларды іске қос. Рұқсатты оқу жұмыс істейтінін және рұқсатсыз әрекет журналда жоқ екенін тексер.
Күтілетін нәтиже
Кірістер, байқалған әрекеттер және ережелерге ескертулер берілген есеп.
Нәтижені қалай тексеруге болады
- Құрал журналын жауап мәтінінен бөлек тексеріңіз.
- Сынақты келісілген ортада ғана жүргізіңіз.
Бұл сервисті жеке сынаудың нәтижесі емес, тапсырманы қоюға арналған редакциялық оқу мысалы. Қажетті режимнің қолжетімділігін, бастапқы материалдарға құқықтарды және нәтижені пайдалану шарттарын тексеріңіз.
Толық мәліметті тексеру
Ресми дереккөздер
Сипаттама әзірлеуші материалдары бойынша жасалған. Мүмкіндіктер, бағалар мен қолжетімділік өзгеруі мүмкін; пайдаланбас бұрын бастапқы дереккөзбен салыстырыңыз.
