Сервер сұраулардың бірдей бөліктерінің есептеулерін қайта пайдаланады. Кэштің ықпалын генерация баптаулары бірдей қайталанатын кірістермен бағалауға болады.
Кірістердегі қайталауды табыңыз
Команда бір нұсқаулықты оқып, оған әртүрлі сұрақ қояды делік. Әр сұрауда жауап ережелері мен құжат қайталанады, тек сұрақ өзгереді. SGLang префикс кэшін дәл осындай жиында тексеруге болады. Сервер бұрын орындалған есептеулердің бір бөлігін қайта пайдалана алады. Әр сұрау жаңа жеке кірістірмеден басталса, басындағы сәйкестік азайып, нәтиже өзгереді.
Бір модельге екі жиын
Күрделілігі бірдей оқу сұрақтарын жинаңыз. Бірінші серияда ортақ нұсқау мен құжатты басында қалдырыңыз. Екіншісіне көлемі сондай әртүрлі құжаттар қойыңыз. Жауап ұзындығы бірдей болғанда серияларды орындап, алғашқы бөлік шыққанға дейінгі уақытты, қате санын және жад жүктемесін жазыңыз. Кэш ықпалын модель немесе температура өзгерісімен араластырмаңыз. Шағын сынақта суық іске қосу мен алғашқы сұраулар айқын көрінеді, сондықтан оларды бөлек белгілеңіз.
Шешімді қалай қабылдау керек
Кәдімгі сұраулардың басы сирек бірдей болса, серверлерді ең алдымен сұрау ұзындығы мен санының нақты таралуындағы әрекеті бойынша салыстырыңыз. Қайталанатын ағында жұмыс конфигурациясына қанша ортақ құжат сыятынын жазған пайдалы. Қолданысқа енгізер алдында қажетті модельдің, клиент маршрутының қолжетімділігін және қайта іске қосылғаннан кейінгі әрекетін тексеріңіз. Есептеу кэшін қайта дайындауға болады, ал құжаттарға қол жеткізуді бақылау қолданбаның міндеті болып қалуы тиіс.
Қандай тапсырмаларға жарайды
- Ортақ және өзгеретін басы бар сұраулар жүктемесін салыстыру
- Қайталанатын шақырулар тізбегінде серверді тексеру
Артықшылықтары
- Префикс кэші мен параллель іске қосу құжатталған
- Бірнеше модель тобына арналған мысалдар бар
Шектеулер
- Пайда кіріс құрылымы мен іске қосу режиміне байланысты
- Жабдық пен модель пішімінің қолдауын бөлек тексеру қажет
Таңдау және шарттар
- Тегін режим
- Иә
- Сынақ кезеңі
- Расталмаған
- Тіркелусіз
- Расталмаған
- Орысша интерфейс
- Расталмаған
- Жергілікті орнату
- Иә
- API
- Иә
«Расталмаған» деген белгі мәліметтің жеткіліксіз екенін білдіреді. Мүмкіндік бар болуы ықтимал; әзірлеушінің шарттарын тексеріңіз.
- Бастапқы пішімдер
- Мәтін, Код
- Нәтиже
- Мәтін, Деректер
Шарттар
Ашық қозғалтқышты өзіңіз орналастыра аласыз. Жабдық пен орналастыру құны және салмақ лицензиясы таңдалған конфигурацияға байланысты. Пайда кіріс құрылымы мен іске қосу режиміне байланысты.Тапсырмадан алғашқы нәтижеге
Практикалық мысал
- Тапсырма
- Ортақ және өзгеретін басы бар сұраулар жүктемесін салыстыру
- Не дайындау керек
- Қолдау көрсетілетін модель, сынақ сервері және қысқа әрі ұзақ сұраулардың шағын жиыны.
Тапсырма немесе сұрау
Модельді сынақ серверінде іске қос. Бір сұрау мен бір уақытта келген бірнеше сұраудың жауаптарын және күту уақытын салыстыр.
Күтілетін нәтиже
Кірістері сақталған кідірістер, қателер және іске қосу баптауларының кестесі.
Нәтижені қалай тексеруге болады
- Салыстыру алдында генерация баптаулары мен салмақ нұсқасын тексеріңіз.
- Ұзақ сұрауды және қатеден кейінгі қайталауды ашық желіге қол жеткізбей тексеріңіз.
Бұл сервисті жеке сынаудың нәтижесі емес, тапсырманы қоюға арналған редакциялық оқу мысалы. Қажетті режимнің қолжетімділігін, бастапқы материалдарға құқықтарды және нәтижені пайдалану шарттарын тексеріңіз.
Толық мәліметті тексеру
Ресми дереккөздер
Сипаттама әзірлеуші материалдары бойынша жасалған. Мүмкіндіктер, бағалар мен қолжетімділік өзгеруі мүмкін; пайдаланбас бұрын бастапқы дереккөзбен салыстырыңыз.
