Jan Desktop дает единый интерфейс для локальных и удаленных моделей. Локальный сервер позволяет использовать загруженную модель в других приложениях, а подключение внешнего провайдера меняет место обработки.

Официальная документация Jan: справка по настольному приложению и локальному API. Открыть источник

Выбрать, где работает помощник

Jan Desktop предназначен для диалога с выбранными пользователем моделями. В одном приложении можно работать с загруженными весами и настроенными удаленными провайдерами. Разница существенна: локальная модель использует ресурсы компьютера, а облачный запрос передается соответствующему сервису. Поэтому выбирать нужно не только название модели, но и способ ее подключения.

Проект разрабатывается открыто и распространяется бесплатно. В официальной справке отдельно представлены Jan Desktop и Jan Agent. При выборе инструкции важно не смешивать возможности настольного приложения с поведением отдельно устанавливаемого агента.

Настройка локального доступа

В Jan встроен API-сервер, совместимый с распространенным форматом запросов к языковым моделям. Сначала необходимо скачать или импортировать локальную модель, которую приложение действительно может загрузить. Лишь после этого запускают сервер и подключают свое приложение. Указание удаленного провайдера не отменяет описанное в документации требование начального локального запуска.

По умолчанию сервер доступен только с того же компьютера. В настройках можно изменить адрес и ключ доступа. Если открыть его другим устройствам, потребуется самостоятельно продумать доступ, сетевую защиту и круг клиентов, которым разрешено отправлять запросы.

Понятный первый сценарий

Возьмите небольшой текст о правилах работы с заказами и попросите Jan подготовить вопросы для нового сотрудника. Ограничьте ответ сведениями из текста и потребуйте подтверждающий фрагмент для каждого правильного варианта. Такой пример помогает увидеть, насколько выбранная модель удерживает условия и признает отсутствие информации.

Если в исходнике нет срока ответа клиенту, модель должна это отметить. Красиво оформленная выдуманная цифра будет ошибкой. Сохраните удачную инструкцию и повторите задачу на другом материале: один удачный ответ еще не показывает устойчивость всего процесса. Этот сценарий предложен для знакомства, личный тест продукта здесь не заявляется.

Совместимость важнее размера

Для локальных моделей используются совместимые движки, включая llama.cpp и MLX на Apple Silicon. Документация отдельно предупреждает об ограничениях актуального движка на Intel Mac. Перед загрузкой больших весов сверяйте требования своей системы, доступную память и поддержку формата.

Бесплатность приложения не означает бесплатный облачный inference. У внешнего провайдера действуют свои ключи, тарифы и правила обработки. Также не стоит считать анонсируемые возможности уже доступными: например, обещание памяти на главной странице нужно проверять по текущей документации и установленному релизу.

Для каких задач подходит

Работать с открытой моделью на компьютере
Настроить локальный API для совместимого приложения
Разделить проекты и инструкции помощников
Выбрать удаленного провайдера для отдельной задачи

Возможности

Сильные стороны

Бесплатное открытое приложение
Локальный API совместимого формата
Раздельные настройки моделей и провайдеров

Стоит учитывать

Ограничения

Запуск API-сервера требует доступной локальной модели
Требования движка различаются между устройствами
Удаленный провайдер выводит запрос за локальный контур

Выбор и условия

Бесплатный режим: Да
Пробный период: Не подтверждено
Без регистрации: Не подтверждено
Русский интерфейс: Не подтверждено
Локальная установка: Да
API: Да

«Не подтверждено» означает, что сведений недостаточно. Возможность может существовать; сверяйте условия разработчика.

Исходные форматы: Текст, Код
Результат: Текст, Код

Условия

Jan Desktop доступен бесплатно с открытым исходным кодом. Оплата внешних моделей и ресурсы своего компьютера не включены в бесплатность приложения. Jan Desktop устанавливается на поддерживаемую настольную систему; Jan Agent распространяется отдельно.

От задачи к первому результату

Практический пример

Задача: Работать с открытой моделью на компьютере
Что подготовить: Короткая инструкция по возврату товара, сохраненная обычным текстом.

Задание или запрос

На основе этой инструкции составь три вопроса для проверки понимания. Для каждого укажи правильный ответ и подтверждающее предложение из входа. Если срок или условие отсутствует, прямо скажи об этом.

Ожидаемый результат

Три проверяемые пары вопрос-ответ, основанные на переданном тексте.

Как проверить результат

Сопоставьте каждый ответ с исходным предложением.
Повторите задание с выбранной локальной моделью и оцените время и расход памяти на своем устройстве.

Редакционный учебный пример постановки задачи, а не результат личного тестирования сервиса. Проверьте доступность нужного режима, права на исходники и условия использования результата.

Проверить подробности

Официальные источники

Описание составлено по материалам разработчика. Возможности, цены и доступность могут меняться; перед использованием сверяйтесь с первоисточником.

Jan.