SGLang.

Trouvez la répétition dans les entrées

Supposons que l'équipe lit un guide et lui pose différentes questions. Dans chaque demande, les règles de réponse et le document lui-même sont répétés et seule la question change. C'est dans cet ensemble que vous devriez regarder la mise en cache du préfixe SGLang. Le serveur peut réutiliser une partie des calculs déjà effectués. Si chaque requête commence par une nouvelle insertion personnelle, les correspondances au début seront plus petites et l'image changera.

Deux ensembles pour un modèle

Rassemblez des questions d'apprentissage de la même complexité. Dans la première série, laissez les instructions générales et le document au début. Dans le second, mettez différents documents de la même taille. Faites passer la série à la même longueur de réponse et enregistrez le temps jusqu'à l'apparition du premier fragment, le nombre d'erreurs et la charge de mémoire. Ne mélangez pas l'effet de cache avec un changement de modèle ou de température. Pour un petit parcours, le démarrage à froid et les premiers virages sont particulièrement visibles, alors marquez-les séparément.

Comment prendre une décision

Si les requêtes typiques ont rarement un point de départ commun, comparez les serveurs principalement par le comportement de la distribution réelle de la longueur et du nombre de visites. Lorsque le flux est répété, il est utile d'écrire combien de documents partagés sont placés dans la configuration de travail. Vérifiez la disponibilité du modèle souhaité, l'itinéraire du client et le comportement après le redémarrage avant l'implémentation. Le cache de calcul peut être réchauffé et le contrôle des droits sur les documents doit rester la tâche de l'application.

Pour quelles tâches convient-il

• Comparer la charge avec le début d'entrée général et variable
• Vérifier le serveur sur une série d'appels récurrents