In DSPy wird die Aufgabe durch Ein- und Ausgänge beschrieben, und der Optimierer versucht, das Programm anhand der ausgewählten Metrik zu verbessern. Das Ergebnis wird anhand der verzögerten Beispiele überprüft.

Offizielle DSPy-Dokumentation mit einer Übersicht über Signaturen und Optimierer. Quelle öffnen

Entscheiden Sie zuerst, was Verbesserung bedeutet.

Wenn das Modell die Adresse und den Typ des Problems aus der Anwendung extrahiert, scheint ein ausgefülltes Blatt ein gutes Ergebnis zu sein. Aber eine Vermutung im Adressfeld kann mehr Schaden anrichten als eine leere Zelle. In DSPy kann die Aufgabe mit einer Signatur beschrieben und dem Optimierer eine Metrik übergeben werden. Notieren Sie sich vor dem Start, was als richtiges Feld gilt und welches Verhalten erwartet wird, wenn keine Adresse angegeben ist. Andernfalls verbessert die Optimierung den Indikator, der die Leistung der Anwendung nicht widerspiegelt.

Zwei Beispiele

Bereiten Sie Beispielanfragen mit kurzen Beschreibungen, fehlenden Angaben und mehreren Adressen vor. Verwenden Sie einen Teil zur Optimierung und behalten Sie den anderen für die Prüfung zurück. Speichern Sie die Ergebnisse des ursprünglichen Programms. Führen Sie den gewählten Optimierer aus und testen Sie die zurückgehaltenen Fälle mit denselben Modelleinstellungen. Vergleichen Sie korrekt befüllte Felder und Fehler bei fehlenden Daten. Eine brauchbare Metrik unterscheidet Auslassung, korrekte Extraktion und Vermutung.

Was kostet die Verbesserung

Notieren Sie sich den ausgewählten Optimierer, das Versuchslimit, die Uhrzeit und die Anzahl der Anrufe. Wenn Sie das Modell oder die Beispiele ändern, wiederholen Sie zuerst die anfängliche Bewertung. Ein maßgeschneidertes Programm kann in einem bestimmten Prozess nützlich sein und sich bei einem anderen Thema anders verhalten. Überprüfen Sie vor dem Transfer mehrere frische Eingänge manuell. Dies wird Ihnen helfen zu sehen, ob das Programm reale Zeichen der Aufgabe verwendet oder auf zufälligen Eigenschaften der Lernauswahl basiert. Speichern Sie die ursprüngliche Konfiguration für einen weiteren Vergleich.

Für welche Aufgaben geeignet

Auswahl von Anweisungen und Beispielen zum Extrahieren von Feldern
Optimiertes Programm mit der Originalversion vergleichen

Funktionen

Stärken

Teilt die Aufgabenbeschreibung und die Art der Optimierung
Offizieller Leitfaden beschreibt Module und Metriken

Zu berücksichtigen

Einschränkungen

Schlechte Metriken fördern falsches Verhalten
Der Vergleich erfordert eine separate Probenahme und Kostenrechnung

Auswahl und Bedingungen

Kostenlose Nutzung: Ja
Testphase: Nicht bestätigt
Keine Registrierung erforderlich: Nicht bestätigt
Russische Benutzeroberfläche: Nicht bestätigt
Lokale Installation: Ja
API: Nicht bestätigt

„Nicht bestätigt“ bedeutet, dass nicht genügend Informationen vorliegen. Die Funktion kann dennoch verfügbar sein; prüfen Sie die Angaben des Entwicklers.

Eingabeformate: Text, Daten, Code
Ergebnis: Code, Daten

Bedingungen

Das Framework ist unter offenen Bedingungen verfügbar. Der Preis der Läufe hängt von den Modellen, der Anzahl der Proben und den Rechenressourcen ab. Schlechte Metriken fördern falsches Verhalten.

Von der Aufgabe zum ersten Ergebnis

Praxisbeispiel

Aufgabe: Auswahl von Anweisungen und Beispielen zum Extrahieren von Feldern
Was Sie vorbereiten sollten: Studienanträge mit bekannten Feldern, Basisprogramm und separate Kontrollstichprobe.

Aufgabenbeschreibung oder Prompt

Richten Sie ein Feldmetrikprogramm ein. Vergleichen Sie die ursprünglichen und angepassten Optionen anhand von Beispielen, die nicht an der Anpassung beteiligt waren.

Erwartetes Ergebnis

Vergleich mit Feldfehlern und Berücksichtigung der Anzahl der Modellaufrufe.

So prüfen Sie das Ergebnis

Stellen Sie sicher, dass die Prüfanforderungen nicht vom Optimierer verwendet wurden.
Betrachten Sie Beispiele, bei denen das Ergebnis schlechter geworden ist.

Ein redaktionelles Lernbeispiel für eine Aufgabenbeschreibung, kein Ergebnis eines eigenen Praxistests des Dienstes. Prüfen Sie die Verfügbarkeit des benötigten Modus, die Rechte am Ausgangsmaterial und die Bedingungen für die Nutzung des Ergebnisses.

Details überprüfen

Offizielle Quellen

Die Beschreibung basiert auf den Materialien des Entwicklers. Die Funktionen, Preise und Verfügbarkeit können variieren. Bitte überprüfen Sie die Quelle vor der Verwendung.

DSPy.