Der Server verwendet die Berechnungen für die übereinstimmenden Teile der Abfragen. Der Cache-Effekt kann an einem wiederholten Satz von Eingaben mit den gleichen Erzeugungsparametern gemessen werden.
Wiederkehrende Eingabepräfixe finden
Angenommen, ein Team liest denselben Leitfaden und stellt unterschiedliche Fragen. Jede Anfrage beginnt mit denselben Antwortregeln und demselben Dokument, während sich die Frage ändert. Damit lässt sich der Präfixcache von SGLang sinnvoll testen. Der Server kann einen Teil der Berechnung wiederverwenden. Beginnt jede Anfrage mit einem anderen nutzerspezifischen Abschnitt, stimmen weniger Präfixe überein und das Ergebnis kann anders ausfallen.
Zwei Sets für ein Modell
Sammeln Sie Trainingsfragen mit der gleichen Komplexität. In der ersten Serie, lassen Sie die allgemeine Anleitung und das Dokument am Anfang. In der zweiten legen Sie verschiedene Dokumente der gleichen Größe. Führen Sie die Serie mit der gleichen Antwortlänge aus und erfassen Sie die Zeit bis zum ersten Fragment, die Anzahl der Fehler und die Speicherlast. Mischen Sie den Cache-Effekt nicht mit einer Änderung des Modells oder der Temperatur. Für einen kleinen Träger sind der Kaltstart und die ersten Anrufe besonders auffällig, also markieren Sie sie separat.
Wie man eine Entscheidung trifft
Wenn typische Anfragen selten ein gemeinsames Präfix haben, vergleichen Sie zuerst das Serververhalten bei den tatsächlichen Eingabelängen und Anfragezahlen. Bei wiederkehrender Last ist es hilfreich zu protokollieren, wie viele gemeinsame Dokumente in die aktuelle Konfiguration passen. Prüfen Sie vor dem Einsatz, ob Modell und Clientendpunkt verfügbar sind und wie sich der Server nach einem Neustart verhält. Der Inferenzcache lässt sich erneut aufwärmen. Dokumentzugriffe muss die Anwendung weiterhin selbst kontrollieren.
Für welche Aufgaben geeignet
- Vergleichen Sie die Last mit dem allgemeinen und sich ändernden Einstieg
- Überprüfen Sie den Server auf eine wiederholte Anrufserie
Stärken
- Dokumentiertes Zwischenspeichern von Präfixen und Parallelstart
- Beispiele für mehrere Modellfamilien
Einschränkungen
- Der Leistungsgewinn hängt vom Aufbau der Eingaben und den Servereinstellungen ab
- Prüfen Sie die Unterstützung für Hardware und Modellformat separat
Auswahl und Bedingungen
- Kostenlose Nutzung
- Ja
- Testphase
- Nicht bestätigt
- Keine Registrierung erforderlich
- Nicht bestätigt
- Russische Benutzeroberfläche
- Nicht bestätigt
- Lokale Installation
- Ja
- API
- Ja
„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.
- Eingabeformate
- Text, Code
- Ergebnis
- Text, Daten
Bedingungen
Sie können die quelloffene Software selbst betreiben. Hardware- und Hostingkosten sowie die Lizenz der Gewichte hängen von der gewählten Konfiguration ab. Der Leistungsgewinn hängt vom Aufbau der Eingaben und den Servereinstellungen ab.Von der Aufgabe zum ersten Ergebnis
Praxisbeispiel
- Aufgabe
- Vergleichen Sie die Last mit dem allgemeinen und sich ändernden Einstieg
- Was Sie vorbereiten sollten
- Unterstütztes Modell, Testserver und eine kleine Anzahl von kurzen und langen Abfragen.
Aufgabenbeschreibung oder Prompt
Starten Sie das Modell auf dem Testserver. Vergleichen Sie Antworten und Wartezeiten für eine Anfrage und für eine Gruppe gleichzeitiger Anrufe.
Erwartetes Ergebnis
Tabelle mit Verzögerungen, Fehlern und Starteinstellungen mit gespeicherten Eingaben.
So prüfen Sie das Ergebnis
- Überprüfen Sie die Generationseinstellungen und die Version der Waage vor dem Vergleich.
- Überprüfen Sie die lange Abfrage und wiederholen Sie nach dem Fehler ohne Zugriff aus dem offenen Netzwerk.
Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.
Details überprüfen
Offizielle Quellen
Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.
