Jan Desktop bietet eine einheitliche Schnittstelle für lokale und Remote-Modelle. Der lokale Server ermöglicht die Verwendung des heruntergeladenen Modells in anderen Anwendungen, und die Verbindung eines externen Anbieters ändert den Ort der Verarbeitung.

Offizielle Dokumentation zu Jan: Hilfe zur Desktop-Anwendung und lokalen API. Quelle öffnen

Wählen Sie, wo der Assistent arbeitet

Jan Desktop ist für den Dialog mit den vom Benutzer ausgewählten Modellen konzipiert. Mit einer einzigen Anwendung können Sie mit heruntergeladenen Modellgewichten und konfigurierten Remote-Anbietern arbeiten. Der Unterschied ist signifikant: Das lokale Modell verwendet Computerressourcen und die Cloud-Abfrage wird an den entsprechenden Dienst gesendet. Daher müssen Sie nicht nur den Namen des Modells wählen, sondern auch die Art und Weise, wie es angeschlossen wird.

Das Projekt wird offen entwickelt und kostenlos verteilt. In der offiziellen Referenz sind Jan Desktop und Jan Agent separat vertreten. Bei der Auswahl einer Anweisung ist es wichtig, die Fähigkeiten der Desktop-Anwendung nicht mit dem Verhalten eines separat installierten Agenten zu verwechseln.

Konfigurieren des lokalen Zugriffs

Jan verfügt über einen API-Server, der mit dem gängigen Abfrageformat für Sprachmodelle kompatibel ist. Zuerst müssen Sie ein lokales Modell herunterladen oder importieren, das die Anwendung tatsächlich herunterladen kann. Erst danach starten Sie den Server und verbinden Ihre Anwendung. Die Angabe eines Remote-Anbieters hebt die in der Dokumentation beschriebene Anforderung für den lokalen Start nicht auf.

Standardmäßig ist der Server nur auf demselben Computer verfügbar. In den Einstellungen können Sie die Adresse und den Zugangsschlüssel ändern. Wenn Sie es für andere Geräte öffnen, müssen Sie selbst über den Zugriff, den Netzwerkschutz und den Bereich der Clients nachdenken, die Anfragen senden dürfen.

Ein verständliches erstes Szenario

Nehmen Sie einen kurzen Text über die Bestellregeln und bitten Sie Jan, Fragen für den neuen Mitarbeiter vorzubereiten. Beschränken Sie die Antwort auf Informationen aus dem Text und fordern Sie für jede richtige Option ein Bestätigungsfragment an. Ein solches Beispiel hilft zu sehen, wie das gewählte Modell die Bedingungen einhält und den Mangel an Informationen erkennt.

Wenn es keine Antwortfrist für den Kunden im Ausgangstext gibt, sollte das Modell dies beachten. Eine schön gestaltete fiktive Zahl wäre ein Fehler. Bewahren Sie eine erfolgreiche Anweisung auf und wiederholen Sie die Aufgabe auf einem anderen Material: Eine erfolgreiche Antwort zeigt noch nicht die Stabilität des gesamten Prozesses. Dieses Szenario ist zum Kennenlernen vorgeschlagen, ein persönlicher Produkttest wird hier nicht angegeben.

Kompatibilität wichtiger als Größe

Für lokale Modelle werden kompatible Engines verwendet, einschließlich llama.cpp und MLX auf Apple Silicon. Die Dokumentation warnt separat vor den Einschränkungen der aktuellen Engine auf dem Intel Mac. Bevor Sie große Gewichte laden, überprüfen Sie die Anforderungen Ihres Systems, den verfügbaren Speicher und die Formatunterstützung.

Die kostenlose App bedeutet keine kostenlose Cloud inference. Der externe Anbieter hat seine eigenen Schlüssel, Tarife und Verarbeitungsregeln. Sie sollten auch die angekündigten Funktionen nicht als bereits verfügbar betrachten: Zum Beispiel muss das Versprechen des Speichers auf der Hauptseite anhand der aktuellen Dokumentation und der installierten Version überprüft werden.

Für welche Aufgaben geeignet

Arbeiten mit einem offenen Modell auf dem Computer
Konfigurieren Sie die lokale API für eine kompatible Anwendung
Projekte und Anweisungen der Assistenten getrennt halten
Wählen Sie einen Remote-Anbieter für eine separate Aufgabe

Funktionen

Stärken

Kostenlose offene App
Lokale API des kompatiblen Formats
Getrennte Einstellungen von Modellen und Anbietern

Zu berücksichtigen

Einschränkungen

API-Server erfordert ein verfügbares lokales Modell
Die Anforderungen der Engine unterscheiden sich zwischen den Geräten
Ein externer Anbieter verarbeitet die Anfrage außerhalb der lokalen Umgebung

Auswahl und Bedingungen

Kostenlose Nutzung: Ja
Testphase: Nicht bestätigt
Keine Registrierung erforderlich: Nicht bestätigt
Russische Benutzeroberfläche: Nicht bestätigt
Lokale Installation: Ja
API: Ja

„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.

Eingabeformate: Text, Code
Ergebnis: Text, Code

Bedingungen

Jan Desktop ist kostenlos und Open Source verfügbar. Die Zahlung für externe Modelle und die Ressourcen Ihres Computers sind nicht in der kostenlosen Anwendung enthalten. Jan Desktop wird auf einem unterstützten Desktop-System installiert; Jan Agent wird separat verteilt.

Von der Aufgabe zum ersten Ergebnis

Praxisbeispiel

Aufgabe: Arbeiten mit einem offenen Modell auf dem Computer
Was Sie vorbereiten sollten: Kurzanleitung zur Rücksendung der Ware, die in normalem Text gespeichert ist.

Aufgabenbeschreibung oder Prompt

Erstelle anhand dieser Anleitung drei Verständnisfragen. Gib jeweils die richtige Antwort und einen belegenden Satz aus dem Eingabetext an. Falls eine Frist oder Bedingung fehlt, sage dies ausdrücklich.

Erwartetes Ergebnis

Drei zu überprüfende Frage-Antwort-Paare, basierend auf dem übermittelten Text.

So prüfen Sie das Ergebnis

Vergleichen Sie jede Antwort mit dem ursprünglichen Satz.
Wiederholen Sie die Aufgabe mit dem ausgewählten lokalen Modell und bewerten Sie die Zeit und den Speicherverbrauch auf Ihrem Gerät.

Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.

Details überprüfen

Offizielle Quellen

Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.

Jan.