DSPy'de görev girdiler ve çıktılar ile tanımlanır ve optimize edici programı seçilen metriklere göre geliştirmeye çalışır. Sonuç ertelenmiş örneklerde kontrol edilir.
Öncelikle gelişmenin ne anlama geldiğine karar verin.
Model, adresler ve sorun türünü uygulamadan çıkarırsa, doldurulmuş bir tablo iyi bir sonuç gibi görünür. Ama adres alanında tahmin etmek boş bir hücreden daha fazla zarar verebilir. DSPy'de görev bir imza ile tanımlanabilir ve optimize edici metrik olarak aktarılabilir. Koşmadan önce, doğru alan olarak kabul edilen ve adres belirtilmediğinde hangi davranışın beklendiğini yazın. Aksi takdirde optimizasyon, uygulamanın çalışmasını yansıtmayan göstergeyi geliştirecektir.
İki örnek kümesi
Çalışma uygulamalarını kısa açıklamalar, geçişler ve çoklu adreslerle hazırlayın. Bir kısmı kurmak için, diğeri kontrol etmek için kalır. Orijinal programı başlatın ve sonuçları kaydedin. Ardından seçilen optimize ediciyi uygulayın ve bekleyen görevleri aynı model parametreleriyle tekrarlayın. Doğru doldurulmuş alanların sayısını ve eksik verilerle vakalardaki hataları karşılaştırın. Başarılı bir metrik pas, doğru ekstraksiyon ve tahmin arasında ayrım yapmalıdır.
İyileştirme maliyeti ne kadar
Seçilen optimize ediciyi, girişimlerin sınırını, aramaların zamanını ve sayısını yazın. Bir modeli veya örnekleri değiştirirken, ilk tahmini tekrar edin. Özelleştirilmiş bir program belirli bir süreçte yararlı olabilir ve başka bir konuda farklı davranabilir. Aktarmadan önce, birkaç taze girişi manuel olarak kontrol edin. Bu, programın gerçek dünya görev özelliklerini kullanıp kullanmadığını veya eğitim kitinin rastgele özelliklerine bağlı olup olmadığını görmeye yardımcı olacaktır. Daha fazla karşılaştırma için orijinal yapılandırmayı kaydedin.
Hangi görevler uygun
- Alan çıkarmak için talimatlar ve örnekler seçin
- Optimize edilmiş programı orijinal sürümle karşılaştırın
Güçlü yönler
- Görev tanımını ve optimizasyon yöntemini ayırır
- Resmi kılavuz modülleri ve metrikleri tanımlar
Sınırlamalar
- Kötü metrikler kötü davranışları teşvik eder
- Karşılaştırma ayrı örnekleme ve maliyet muhasebesi gerektirir
Seçim ve koşullar
- Ücretsiz kullanım
- Evet
- Deneme süresi
- Doğrulanmadı
- Kayıt gerektirmez
- Doğrulanmadı
- Rusça arayüz
- Doğrulanmadı
- Yerel kurulum
- Evet
- API
- Doğrulanmadı
“Doğrulanmadı”, yeterli bilgi bulunmadığı anlamına gelir. Özellik mevcut olabilir; geliştiricinin koşullarını kontrol edin.
- Girdi biçimleri
- Metin, Veri, Kod
- Sonuç
- Kod, Veri
Koşullar
Çerçeve açık koşullarda mevcuttur. Koşuların fiyatı modellere, örnek sayısına ve hesaplama kaynaklarına bağlıdır. Zayıf metrikler kötü davranışları teşvik eder.Görevden ilk sonuca
Uygulama örneği
- Görev
- Alan çıkarmak için talimatlar ve örnekler seçin
- Ne hazırlamalısınız?
- Bilinen alanlarla eğitim uygulamaları, temel bir program ve ayrı bir kontrol örneği.
Görev veya istem
Bir alan çıkarma metrik programı kurun. Orijinal ve yapılandırılmış seçenekleri kurulumda yer almayan örneklerle karşılaştırın.
Beklenen sonuç
Alana göre hatalarla karşılaştırma ve model çağrılarının sayısını dikkate alarak.
Sonuç nasıl kontrol edilir
- Kontrol isteklerinin optimize edici tarafından kullanılmadığını kontrol edin.
- Sonuçların daha kötü olduğu örneklere bakın.
Bu, görevin nasıl tanımlanabileceğini gösteren editoryal bir eğitim örneğidir; servisi bizzat test ederek elde edilmiş bir sonuç değildir. Gerekli modun kullanılabilirliğini, kaynak dosyalar üzerindeki hakları ve sonucun kullanım koşullarını kontrol edin.
Ayrıntıları kontrol et
Resmi kaynaklar
Açıklama geliştiricinin materyallerine dayanmaktadır. Fırsatlar, fiyatlar ve kullanılabilirlik değişebilir; kullanımdan önce orijinal kaynağa bakın.