Canonical: https://instain.ru/kk/ai/vllm/
Language: kk

vLLM Project  тілдік модельдерді іске қосатын қозғалтқыш

# vLLM. 

Модельдерді HTTP арқылы орналастырып, сұрауларды топтап өңдеу

4.53 / 5    [Каталог бағасы](https://instain.ru/kk/ai/vllm/#editorial-rating) [Ресми сайт ](https://github.com/vllm-project/vllm)

Қозғалтқыш модельді дайын жабдықта іске қосып, бірнеше клиенттің сұрауларын өңдейді. Сервер OpenAI API интерфейстерінің бір бөлігін іске асырады.

![Модель серверін іске қосу туралы vLLM құжаттамасы](https://instain.ru/assets/images/vllm-screen-f390a01a3ed6-1200.webp)

Модель серверін іске қосу туралы vLLM құжаттамасы.  [Дереккөзді ашу ](https://docs.vllm.ai/en/stable/serving/online_serving/openai_compatible_server/)

## Алдымен бір маршрут

Кезектегі өтінімдерді сағатына бір рет өңдейтін қызметті елестетіңіз. Прототипке қолдау көрсетілетін бір модель мен қолданба пайдаланатын бір маршрут жеткілікті. vLLM HTTP серверін іске қосады, сондықтан модельді сынақ нұсқасындағы клиентпен тексеруге болады. Қысқа сұраудан бастап, жауаптың күтілетін пішімін белгілеңіз. Клиентке функция шақыру қажет болса, дәл соны тексеріңіз. Кәдімгі мәтінге қолдау бар болуы құралдардың жұмыс істейтінін дәлелдемейді.

## Бір жылдам жауаптың дерегі аз

Кезектегі жүктеме біркелкі түспейді. Бір ұзақ өтініммен бірге бірнеше қысқа өтінім жіберіп, жауаптың басталуына дейінгі және толық өңдеу уақытын салыстырыңыз. Кіріс пен шығыс көлемін жазыңыз. Осылайша кідіріс үлкен контексті оқудан ба, әлде жауапты жасаудан ба туатынын аңғаруға болады. Баптаулар модель файлдарынан алынса, параметр өзгерісін қозғалтқыштар айырмасымен шатастырмау үшін оны белгілеңіз.

## Орналастыру шектеулері

Модель мен оның пішімін vLLM құжаттамасымен салыстырыңыз. Контекске сыймайтын кірісте сервер қалай әрекет ететінін тексеріңіз. Оқу серверін ашық желіге шығармаңыз. Кіріктірілген қол жеткізу кілтінің шекарасы құжаттамада бөлек сипатталған. Қолданба сұрау жіберіп, жауап ағынын оқи алса да, жұмыс деректерімен сынаудан бұрын желі қорғанысы мен қол жеткізу ережелері қажет. Сервер қайта іске қосылғанда күтілетін бастапқы күйге оралатынын бөлек тексеріңіз.

## Қандай тапсырмаларға жарайды

- Бар клиентті өз моделіңізге қосу

- Бірнеше қатар сұраудың кідірісін өлшеу

Мүмкіндіктер 

## Артықшылықтары

- Кіріс сұрауларын топтап өңдеуге болады

- Сервер мен модель үйлесімділігі туралы құжаттама бар

Ескерген жөн 

## Шектеулер

- Интерфейстің үйлесімділігі маршрут пен модельге байланысты

- Орналастыру кезінде жадты және желіге қолжетімділікті бақылау керек

## Таңдау және шарттар

Тегін режим

Иә

Сынақ кезеңі

Расталмаған

Тіркелусіз

Расталмаған

Орысша интерфейс

Расталмаған

Жергілікті орнату

Иә

API

Иә

«Расталмаған» деген белгі мәліметтің жеткіліксіз екенін білдіреді. Мүмкіндік бар болуы ықтимал; әзірлеушінің шарттарын тексеріңіз.

Бастапқы пішімдер

Мәтін, Код

Нәтиже

Мәтін, Деректер

### Шарттар

Ашық қозғалтқышты қолдануға бөлек жазылым қажет емес. Модель лицензиясы мен есептеу ресурстары бөлек ескеріледі. Интерфейстің үйлесімділігі маршрут пен модельге байланысты.

Тапсырмадан алғашқы нәтижеге

## Практикалық мысал

Тапсырма

Бар клиентті өз моделіңізге қосу

Не дайындау керек

Қолдау көрсетілетін модель, сынақ сервері және қысқа әрі ұзақ сұраулардың шағын жиыны.

### Тапсырма немесе сұрау

Модельді сынақ серверінде іске қос. Бір сұрау мен бір уақытта келген бірнеше сұраудың жауаптарын және күту уақытын салыстыр.

### Күтілетін нәтиже

Кірістері сақталған кідірістер, қателер және іске қосу баптауларының кестесі.

### Нәтижені қалай тексеруге болады

- Салыстыру алдында генерация баптаулары мен салмақ нұсқасын тексеріңіз.

- Ұзақ сұрауды және қатеден кейінгі қайталауды ашық желіге қол жеткізбей тексеріңіз.

Бұл сервисті жеке сынаудың нәтижесі емес, тапсырманы қоюға арналған редакциялық оқу мысалы. Қажетті режимнің қолжетімділігін, бастапқы материалдарға құқықтарды және нәтижені пайдалану шарттарын тексеріңіз.

Толық мәліметті тексеру

## Ресми дереккөздер

-  [vLLM ресми репозиторийі ](https://github.com/vllm-project/vllm)

-  [Үйлесімді HTTP интерфейсі бар сервер ](https://docs.vllm.ai/en/stable/serving/online_serving/openai_compatible_server/)

-  [vLLM орнату ](https://docs.vllm.ai/en/stable/getting_started/installation/)

Сипаттама әзірлеуші материалдары бойынша жасалған. Мүмкіндіктер, бағалар мен қолжетімділік өзгеруі мүмкін; пайдаланбас бұрын бастапқы дереккөзбен салыстырыңыз.

Құрал туралы қысқаша

Әзірлеуші

vLLM Project

Санат

[Код](https://instain.ru/kk/category/code/)

Қолжетімділік

Модель архитектурасының, жабдықтың және қажетті салмақ пішімінің қолдауын тексеріңіз. Содан кейін серверді сынақ желісінде іске қосып, клиентті жалғаңыз.

Төлем

Ашық қозғалтқышты қолдануға бөлек жазылым қажет емес. Модель лицензиясы мен есептеу ресурстары бөлек ескеріледі.

API

Иә, әзірлеушіде

[Әзірлеуші шарттары ](https://docs.vllm.ai/en/stable/getting_started/installation/)

Каталог бағасы

4.53 / 5 

Мүмкіндіктер

4.60 / 5 

Жұмыс сценарийлері

4.30 / 5 

Экожүйе

4.70 / 5 

Құжаттама

4.50 / 5 

Баллдар — каталог бағдары. Олар пайдаланушы пікірлері не жеке сынақ нәтижесі емес.

[Әдістемені қарау ](https://instain.ru/kk/methodology/)

Танысуды жалғастыру

## Ұқсас тапсырмалар үшін

[Толық санат  ](https://instain.ru/kk/category/code/)

Код 

###  [SGLang](https://instain.ru/kk/ai/sglang/)

Сұраулардың ортақ басын қайта пайдаланатын генерация сервері

4.43 / 5   модель сұрауларын өңдейтін қозғалтқыш  

Ұқсас тапсырмалар; шарттарды, пішімдерді және шектеулерді салыстырыңыз