Jan.

Choisir où l'assistant travaille

Jan Desktop est conçu pour dialoguer avec les modèles sélectionnés par l'utilisateur. Dans une application, vous pouvez travailler avec des poids chargés et des fournisseurs distants configurés. La différence est significative: le modèle local utilise les ressources de l'ordinateur et la requête cloud est transmise au service correspondant. Par conséquent, il est nécessaire de choisir non seulement le nom du modèle, mais également la méthode de sa connexion.

Le projet est développé ouvertement et distribué gratuitement. Le document officiel est présenté séparément par Jan Desktop et Jan Agent. Lors du choix d'une instruction, il est important de ne pas confondre les capacités de l'application de bureau avec le comportement d'un agent distinct.

Configuration de l'accès local

Jan a un serveur API compatible avec le format de requête commun pour les modèles linguistiques. Tout d'abord, vous devez télécharger ou importer un modèle local que l'application peut réellement télécharger. Ce n'est qu'après cela que le serveur est démarré et que l'application est connectée. L'indication d'un fournisseur distant n'annule pas l'exigence de démarrage local décrite dans la documentation.

Par défaut, le serveur n'est disponible qu'à partir du même ordinateur. Vous pouvez modifier l'adresse et la clé d'accès. Si vous l'ouvrez à d'autres appareils, vous devrez penser indépendamment à l'accès, à la protection du réseau et au cercle de clients autorisés à envoyer des demandes.

Un premier scénario compréhensible

Prenez un petit texte sur les règles de gestion des commandes et demandez à Jan de préparer les questions pour le nouvel employé. Limitez la réponse au texte et demandez un extrait de confirmation pour chaque option correcte. Un tel exemple aide à voir dans quelle mesure le modèle choisi maintient les conditions et reconnaît le manque d'informations.

S'il n'y a pas de délai de réponse du client dans le texte source, le modèle doit le noter. Un chiffre bien conçu serait une erreur. Sauvegardez les instructions réussies et répétez la tâche sur un autre matériel: une réponse réussie ne montre pas encore la stabilité de l'ensemble du processus. Ce scénario est proposé pour découvrir le produit, le test personnel du produit n'est pas indiqué ici.

La compatibilité est plus importante que la taille

Pour les modèles locaux, des moteurs compatibles sont utilisés, y compris llama.cpp et MLX sur Apple Silicon. La documentation met en garde séparément sur les limites du moteur actuel sur Intel Mac. Avant de charger des poids de modèles volumineux, vérifiez les exigences de votre système, la mémoire disponible et le support du format.

La gratuité de l'application ne signifie pas une inference gratuite dans le cloud. Le fournisseur externe a ses propres clés, tarifs et règles de traitement. En outre, vous ne devez pas considérer les fonctionnalités annoncées déjà disponibles: par exemple, la promesse de mémoire sur la page d'accueil doit être vérifiée à partir de la documentation actuelle et de la version installée.

Pour quelles tâches convient-il

• Travailler avec un modèle ouvert sur un ordinateur
• Configurer une API locale pour une application compatible
• Séparer les projets et les instructions des assistants
• Choisir un fournisseur distant pour une tâche distincte