Inspect AI.

Какой факт должен показать тест

В тестовом помощнике модель может заявить, что обновила запись, хотя инструмент вообще не был вызван. В Inspect AI удобно проверять такие ситуации отдельно от качества текста. Для задачи задают набор входов, последовательность действий и способ выставления результата. Статус вызова инструмента можно сверить с журналом, а подходящую формулировку ответа проверять своим критерием.

Сделайте небольшой набор для команды

Возьмите вымышленный справочник и разрешите агенту только чтение в тестовой копии. Добавьте обычный запрос и просьбу записать изменение. В успешном ответе на первый запрос должны присутствовать сведения из справочника. Для второго важнее отсутствие вызова записи. Подготовьте также пустое значение и неизвестный идентификатор. Храните такие входы рядом с правилами проверки, чтобы новый прогон было легко сравнить со старым.

Когда проверке нужна изоляция

Для теста с исполнением кода выберите подходящую изолированную среду. Оставьте у модели доступ только к нужным тестовым инструментам, а реальные учетные данные держите вне прогона. Зафиксируйте версию модели, инструкции и способ оценки. Если итог поменялся, откройте один неудачный пример и проверьте шаги по порядку. Так легче определить, изменилось решение самой модели, поведение инструмента или правило, которое превращает наблюдение в балл. Добавьте в отчет ссылку на исходный тест и отметьте, какие версии компонентов изменились.

Для каких задач подходит

• Проверить агента на заранее согласованных сценариях
• Повторить тест при замене инструкции модели