Jan.

Көмекші қайда жұмыс істейтінін таңдау

Jan Desktop пайдаланушы таңдаған модельдермен диалогқа арналған. Бір қолданбада жүктелген салмақтармен және бапталған қашықтағы провайдерлермен жұмыс істеуге болады. Айырмасы маңызды: жергілікті модель компьютер ресурстарын пайдаланады, ал бұлттық сұрау тиісті сервиске жіберіледі. Сондықтан модель атауын ғана емес, оны қосу тәсілін де таңдау қажет.

Жоба ашық әзірленіп, тегін таратылады. Ресми анықтамада Jan Desktop пен Jan Agent бөлек ұсынылған. Нұсқаулық таңдағанда үстелдік қолданба мүмкіндіктерін бөлек орнатылатын агенттің жұмысымен араластырмау маңызды.

Жергілікті қолжетімділікті баптау

Jan-ға тілдік модельдер сұрауларының кең таралған пішімімен үйлесімді API сервері кіріктірілген. Алдымен қолданба шынында жүктей алатын жергілікті модельді жүктеу немесе импорттау қажет. Осыдан кейін ғана серверді іске қосып, өз қолданбаңызды қосады. Қашықтағы провайдерді көрсету құжаттамада сипатталған бастапқы жергілікті іске қосу талабын жоймайды.

Әдепкіде серверге тек сол компьютерден қол жеткізуге болады. Баптауларда мекенжай мен қолжетімділік кілтін өзгертуге болады. Оны басқа құрылғыларға ашсаңыз, қолжетімділікті, желілік қорғанысты және сұрау жіберуге рұқсат етілген клиенттерді өзіңіз ойластыруыңыз керек.

Түсінікті алғашқы сценарий

Тапсырыстармен жұмыс ережелері туралы шағын мәтін алып, Jan-нан жаңа қызметкерге сұрақтар дайындауды сұраңыз. Жауапты мәтіндегі мәліметтермен шектеп, әр дұрыс нұсқа үшін растаушы үзінді талап етіңіз. Осындай мысал таңдалған модельдің шарттарды қаншалықты сақтап, ақпараттың жоқтығын мойындайтынын көрсетеді.

Бастапқы мәтінде клиентке жауап беру мерзімі болмаса, модель оны белгілеуі тиіс. Әдемі рәсімделген ойдан шығарылған сан қате болады. Сәтті нұсқауды сақтап, тапсырманы басқа материалда қайталаңыз: бір сәтті жауап бүкіл үдерістің тұрақтылығын көрсетпейді. Бұл сценарий танысу үшін ұсынылған, өнімнің жеке сынағы мәлімделмейді.

Көлемнен гөрі үйлесімділік маңызды

Жергілікті модельдер үшін үйлесімді қозғалтқыштар, соның ішінде Apple Silicon-дағы llama.cpp және MLX қолданылады. Құжаттама қазіргі қозғалтқыштың Intel Mac-тағы шектеулерін бөлек ескертеді. Үлкен салмақтарды жүктемес бұрын өз жүйеңіздің талаптарын, қолжетімді жадты және пішім қолдауын тексеріңіз.

Қолданбаның тегін болуы бұлттық inference тегін дегенді білдірмейді. Сыртқы провайдердің өз кілттері, тарифтері және өңдеу ережелері бар. Сондай-ақ жарияланған болашақ мүмкіндіктерді қазір қолжетімді деп есептемеу керек: мысалы, басты беттегі жад уәдесін қазіргі құжаттама мен орнатылған релизден тексеру қажет.

Қандай тапсырмаларға жарайды

• Компьютерде ашық модельмен жұмыс істеу
• Үйлесімді қолданбаға жергілікті API баптау
• Жобалар мен көмекші нұсқауларын бөлу
• Жеке тапсырмаға қашықтағы провайдер таңдау