Қозғалтқыш модельді дайын жабдықта іске қосып, бірнеше клиенттің сұрауларын өңдейді. Сервер OpenAI API интерфейстерінің бір бөлігін іске асырады.
Алдымен бір маршрут
Кезектегі өтінімдерді сағатына бір рет өңдейтін қызметті елестетіңіз. Прототипке қолдау көрсетілетін бір модель мен қолданба пайдаланатын бір маршрут жеткілікті. vLLM HTTP серверін іске қосады, сондықтан модельді сынақ нұсқасындағы клиентпен тексеруге болады. Қысқа сұраудан бастап, жауаптың күтілетін пішімін белгілеңіз. Клиентке функция шақыру қажет болса, дәл соны тексеріңіз. Кәдімгі мәтінге қолдау бар болуы құралдардың жұмыс істейтінін дәлелдемейді.
Бір жылдам жауаптың дерегі аз
Кезектегі жүктеме біркелкі түспейді. Бір ұзақ өтініммен бірге бірнеше қысқа өтінім жіберіп, жауаптың басталуына дейінгі және толық өңдеу уақытын салыстырыңыз. Кіріс пен шығыс көлемін жазыңыз. Осылайша кідіріс үлкен контексті оқудан ба, әлде жауапты жасаудан ба туатынын аңғаруға болады. Баптаулар модель файлдарынан алынса, параметр өзгерісін қозғалтқыштар айырмасымен шатастырмау үшін оны белгілеңіз.
Орналастыру шектеулері
Модель мен оның пішімін vLLM құжаттамасымен салыстырыңыз. Контекске сыймайтын кірісте сервер қалай әрекет ететінін тексеріңіз. Оқу серверін ашық желіге шығармаңыз. Кіріктірілген қол жеткізу кілтінің шекарасы құжаттамада бөлек сипатталған. Қолданба сұрау жіберіп, жауап ағынын оқи алса да, жұмыс деректерімен сынаудан бұрын желі қорғанысы мен қол жеткізу ережелері қажет. Сервер қайта іске қосылғанда күтілетін бастапқы күйге оралатынын бөлек тексеріңіз.
Қандай тапсырмаларға жарайды
- Бар клиентті өз моделіңізге қосу
- Бірнеше қатар сұраудың кідірісін өлшеу
Артықшылықтары
- Кіріс сұрауларын топтап өңдеуге болады
- Сервер мен модель үйлесімділігі туралы құжаттама бар
Шектеулер
- Интерфейстің үйлесімділігі маршрут пен модельге байланысты
- Орналастыру кезінде жадты және желіге қолжетімділікті бақылау керек
Таңдау және шарттар
- Тегін режим
- Иә
- Сынақ кезеңі
- Расталмаған
- Тіркелусіз
- Расталмаған
- Орысша интерфейс
- Расталмаған
- Жергілікті орнату
- Иә
- API
- Иә
«Расталмаған» деген белгі мәліметтің жеткіліксіз екенін білдіреді. Мүмкіндік бар болуы ықтимал; әзірлеушінің шарттарын тексеріңіз.
- Бастапқы пішімдер
- Мәтін, Код
- Нәтиже
- Мәтін, Деректер
Шарттар
Ашық қозғалтқышты қолдануға бөлек жазылым қажет емес. Модель лицензиясы мен есептеу ресурстары бөлек ескеріледі. Интерфейстің үйлесімділігі маршрут пен модельге байланысты.Тапсырмадан алғашқы нәтижеге
Практикалық мысал
- Тапсырма
- Бар клиентті өз моделіңізге қосу
- Не дайындау керек
- Қолдау көрсетілетін модель, сынақ сервері және қысқа әрі ұзақ сұраулардың шағын жиыны.
Тапсырма немесе сұрау
Модельді сынақ серверінде іске қос. Бір сұрау мен бір уақытта келген бірнеше сұраудың жауаптарын және күту уақытын салыстыр.
Күтілетін нәтиже
Кірістері сақталған кідірістер, қателер және іске қосу баптауларының кестесі.
Нәтижені қалай тексеруге болады
- Салыстыру алдында генерация баптаулары мен салмақ нұсқасын тексеріңіз.
- Ұзақ сұрауды және қатеден кейінгі қайталауды ашық желіге қол жеткізбей тексеріңіз.
Бұл сервисті жеке сынаудың нәтижесі емес, тапсырманы қоюға арналған редакциялық оқу мысалы. Қажетті режимнің қолжетімділігін, бастапқы материалдарға құқықтарды және нәтижені пайдалану шарттарын тексеріңіз.
Толық мәліметті тексеру
Ресми дереккөздер
Сипаттама әзірлеуші материалдары бойынша жасалған. Мүмкіндіктер, бағалар мен қолжетімділік өзгеруі мүмкін; пайдаланбас бұрын бастапқы дереккөзбен салыстырыңыз.
