Сервер повторно использует вычисления для совпадающих частей запросов. Влияние кеша можно оценить на повторяемом наборе входов с одинаковыми параметрами генерации.
Найдите повторение во входах
Допустим, команда читает одно руководство и задает к нему разные вопросы. В каждом запросе повторяются правила ответа и сам документ, а меняется только вопрос. Именно в таком наборе стоит посмотреть на кеширование префикса SGLang. Сервер может повторно использовать часть уже выполненных вычислений. Если каждый запрос начинается с новой персональной вставки, совпадений в начале будет меньше и картина изменится.
Два набора для одной модели
Соберите учебные вопросы одинаковой сложности. В первой серии оставьте общую инструкцию и документ в начале. Во второй поставьте разные документы такого же размера. Прогоните серии при одинаковой длине ответа и зафиксируйте время до появления первого фрагмента, число ошибок и нагрузку на память. Не смешивайте эффект кеша с изменением модели или температуры. Для небольшого прогона особенно заметны холодный запуск и первые обращения, поэтому отметьте их отдельно.
Как принять решение
Если типичные запросы редко имеют общее начало, сравнивайте серверы прежде всего по поведению на реальном распределении длины и числа обращений. При повторяемом потоке полезно записать, сколько общих документов помещается в рабочую конфигурацию. Перед внедрением проверьте доступность нужной модели, маршрут клиента и поведение после перезапуска. Кеш вычислений можно прогреть снова, а контроль прав на документы должен оставаться задачей приложения.
Для каких задач подходит
- Сравнить нагрузку с общим и меняющимся началом входа
- Проверить сервер на повторяемой серии вызовов
Сильные стороны
- Документированы кеширование префиксов и параллельный запуск
- Есть примеры для нескольких семейств моделей
Ограничения
- Выигрыш зависит от структуры входов и режима запуска
- Поддержка оборудования и формата модели проверяется отдельно
Выбор и условия
- Бесплатный режим
- Да
- Пробный период
- Не подтверждено
- Без регистрации
- Не подтверждено
- Русский интерфейс
- Не подтверждено
- Локальная установка
- Да
- API
- Да
«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.
- Исходные форматы
- Текст, Код
- Результат
- Текст, Данные
Условия
Открытый движок можно развернуть самостоятельно. Стоимость оборудования, размещения и лицензия весов зависят от конфигурации. Выигрыш зависит от структуры входов и режима запуска.От задачи к первому результату
Практический пример
- Задача
- Сравнить нагрузку с общим и меняющимся началом входа
- Что подготовить
- Поддерживаемая модель, тестовый сервер и небольшой набор коротких и длинных запросов.
Задание или запрос
Запусти модель на тестовом сервере. Сравни ответы и время ожидания для одного запроса и для группы одновременных вызовов.
Ожидаемый результат
Таблица задержек, ошибок и настроек запуска с сохраненными входами.
Как проверить результат
- Сверьте настройки генерации и версию весов перед сравнением.
- Проверьте длинный запрос и повтор после ошибки без доступа из открытой сети.
Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.
Проверить подробности
Официальные источники
Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.
