Разработчик задает проверки вокруг приложения с моделью и выбирает, какие входы, выходы или действия обрабатывать отдельно. Правила нужно проверять на примерах.
Сначала опишите границу словами
Помощник по учебному справочнику должен объяснять порядок оформления заявки и может показать пример. Для изменения заявки требуется отдельное разрешение. В NeMo Guardrails проверки настраивают вокруг модели и приложения. Сначала определите разрешенные действия и места, где их нужно проверить. На входе может понадобиться проверка темы, на выходе проверка формы ответа, а перед обращением к инструменту отдельное правило для его аргументов.
Проверьте разрешение и отказ
Составьте пары запросов, которые отличаются одним значимым условием. В одной паре попросите описать порядок возврата, затем попросите выполнить возврат за пользователя. Добавьте нейтральные вопросы со словами из запрещенного примера. Так получится оценить как пропуски правила, так и ложные срабатывания. Записывайте ответ и фактические вызовы в тестовый журнал. Отказ в сообщении мало полезен, если приложение все равно передало данные инструменту.
Отделите проверку от полномочий
Учетные данные и разрешения подключенных систем контролируйте отдельно. Для учебной проверки используйте заглушки и вымышленные записи, чтобы результат ошибочной классификации оставался виден в журнале. При смене модели или шаблона диалога повторите удачные и пограничные случаи. Учтите задержку дополнительных проверок и выясните, что происходит при их сбое. Решение о блокировке или передаче оператору должно быть понятным и воспроизводимым. Начните с короткого прогона, где для каждого отказа можно назвать конкретное правило.
Для каких задач подходит
- Проверить обработку просьбы вне заданной темы
- Отследить отказ перед передачей данных инструменту
Сильные стороны
- Правила можно описать программно
- Официальный репозиторий содержит примеры конфигураций
Ограничения
- Правило может пропустить нарушение или отклонить допустимый запрос
- Права инструментов нужно ограничивать отдельно
Выбор и условия
- Бесплатный режим
- Да
- Пробный период
- Не подтверждено
- Без регистрации
- Не подтверждено
- Русский интерфейс
- Не подтверждено
- Локальная установка
- Да
- API
- Не подтверждено
«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.
- Исходные форматы
- Текст, Код
- Результат
- Текст, Данные
Условия
Код инструментария доступен открыто. Использование выбранных моделей, дополнительных проверок и среды размещения может требовать оплаты. Правило может пропустить нарушение или отклонить допустимый запрос.От задачи к первому результату
Практический пример
- Задача
- Проверить обработку просьбы вне заданной темы
- Что подготовить
- Тестовая копия помощника и вымышленная политика чтения и записи.
Задание или запрос
Запусти обычные и пограничные запросы. Проверь, что допустимое чтение работает, а действие без разрешения отсутствует в журнале.
Ожидаемый результат
Отчет с входами, наблюдаемыми действиями и замечаниями к правилам.
Как проверить результат
- Сверьте журнал инструмента отдельно от текста ответа.
- Проводите тесты только в согласованной среде.
Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.
Проверить подробности
Официальные источники
Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.
