Bir DPO için, tek bir istek tercih edilen ve daha az başarılı bir cevap verilir. TRL, hazır bir öğretim sınıfı sağlar ve desteklenen formatları tanımlar.
Bir çift cevap nasıl tespit edilir
İç dizin eğitim asistanı çağıralım. Erteleme sorulduğunda, bir cevap doğru bir şekilde kuralı yeniden anlatır, diğeri bir istisna ile ortaya çıkar. DPO için, sorguyu ve iki cevabı kaydedebilir, ilkini tercih edilen olarak belirtebilirsiniz. İkincisi hem daha uzun hem de daha az kesin ise, model tercihi uzunlukla ilişkilendirebilir. Aynı tarz ama farklı gerçek hatalar ile birkaç çift yapın. Bu şekilde, kriter verilerde daha iyi görülecektir.
TRL'de ne söylenir
B DPOTrainer alanlarla belirlenen bir veri prompt, chosen ve rejected. Diyalog örnekleri için, rolleri olan alanlar mevcuttur. Her iki sürümün de tek bir soruya cevap verip vermediğini kontrol edin ve sorguda veya dizinde olmayan bilgiler içermesin. Ardından, doğrulama için el kitabının başka bir bölümünden soruları uzaklaştırın. Tercih edilen cevabın girdi verilerinin netleştirilmesini istediği bir çift de hazırlayın.
Eğitimden sonra kontrol
Kesin cevapları, ilgili açıklamaları ve kendinden emin kurguları ayrı olarak kontrol edin. Genel puan, eski doğru cevapların bazıları eksik olsa bile, daha kısa stil nedeniyle artabilir. Çalıştırılan parametrelerin yanında birkaç örnek kaydedin. Diyalog deseninin eğitim ve test sırasında eşleşip eşleşmediğini kontrol edin. Orijinal modelle karşılaştırma, aynı bağlam ve aynı nesil ayarlarıyla bir dizi soruda mantıklıdır. Önemli senaryolar için, manuel içerik denetimi ile otomatik metrikleri tamamlayın.
Hangi görevler uygun
- Birkaç cevap üzerinde eğitimi test edin
- DPO öncesi ve sonrası karşılaştırma
Güçlü yönler
- Hazır bir DPOTrainer sınıfı ve örnek formatları vardır.
- Kütüphane Transformers ekosistemine bağlıdır.
Sınırlamalar
- Örnekteki tercihler son davranışı etkiler
- Eğitim setinin dışında kontrol etmek için, ayrı bir işaretlemeye ihtiyacınız var.
Seçim ve koşullar
- Ücretsiz kullanım
- Evet
- Deneme süresi
- Doğrulanmadı
- Kayıt gerektirmez
- Doğrulanmadı
- Rusça arayüz
- Doğrulanmadı
- Yerel kurulum
- Evet
- API
- Doğrulanmadı
“Doğrulanmadı”, yeterli bilgi bulunmadığı anlamına gelir. Özellik mevcut olabilir; geliştiricinin koşullarını kontrol edin.
- Girdi biçimleri
- Metin, Veri
- Sonuç
- Veri, Model
Koşullar
Açık kütüphanenin ayrı bir tarifesi yoktur. Hesaplamalar, yerleştirme ve orijinal modelin kullanım koşulları ayrı ayrı dikkate alınır. Örnekteki tercihler ortaya çıkan davranışı etkiler.Görevden ilk sonuca
Uygulama örneği
- Görev
- Birkaç cevap üzerinde eğitimi test edin
- Ne hazırlamalısınız?
- İstek ve cevapların bir eğitim seti, uyumlu bir model ve bireysel doğrulama örnekleri.
Görev veya istem
Kısa bir eğitim koşusu hazırlayın. Model parametrelerini kaydedin ve aynı doğrulama istekleri üzerinde eğitimden önce ve sonra cevaplarını karşılaştırın.
Beklenen sonuç
Kalite değişim raporu ve özelleştirilmiş adaptör veya kontrol noktası.
Sonuç nasıl kontrol edilir
- Kopyaları çıkarın ve örnekler arasındaki seçenekleri kapatın.
- İçerik hatalarına ve format sapmalarına ayrı ayrı dikkat edin.
Bu, görevin nasıl tanımlanabileceğini gösteren editoryal bir eğitim örneğidir; servisi bizzat test ederek elde edilmiş bir sonuç değildir. Gerekli modun kullanılabilirliğini, kaynak dosyalar üzerindeki hakları ve sonucun kullanım koşullarını kontrol edin.
Ayrıntıları kontrol et
Resmi kaynaklar
Açıklama geliştiricinin materyallerine dayanmaktadır. Fırsatlar, fiyatlar ve kullanılabilirlik değişebilir; kullanımdan önce orijinal kaynağa bakın.
