Canonical: https://instain.ru/tr/ai/huggingface-trl/
Language: tr

Hugging Face  Eğitim Sonrası Kütüphane Modelleri

# Hugging Face TRL. 

DPO'lar ve cevap çiftleri ile bir çalışma sonrası kütüphanesi

4.40 / 5    [Katalog değerlendirmesi](https://instain.ru/tr/ai/huggingface-trl/#editorial-rating) [Resmî site ](https://huggingface.co/docs/trl/index)

Bir DPO için, tek bir istek tercih edilen ve daha az başarılı bir cevap verilir. TRL, hazır bir öğretim sınıfı sağlar ve desteklenen formatları tanımlar.

![DPO Trainer için örnek biçimli yardım Hugging Face](https://instain.ru/assets/images/huggingface-trl-screen-0ad4e55f7939-1200.webp)

DPO Trainer için örnek formatla Hugging Face yardım edin.  [Kaynağı aç ](https://huggingface.co/docs/trl/dpo_trainer#expected-dataset-type-and-format)

## Bir çift cevap nasıl tespit edilir

İç dizin eğitim asistanı çağıralım. Erteleme sorulduğunda, bir cevap doğru bir şekilde kuralı yeniden anlatır, diğeri bir istisna ile ortaya çıkar. DPO için, sorguyu ve iki cevabı kaydedebilir, ilkini tercih edilen olarak belirtebilirsiniz. İkincisi hem daha uzun hem de daha az kesin ise, model tercihi uzunlukla ilişkilendirebilir. Aynı tarz ama farklı gerçek hatalar ile birkaç çift yapın. Bu şekilde, kriter verilerde daha iyi görülecektir.

## TRL'de ne söylenir

B DPOTrainer alanlarla belirlenen bir veri prompt, chosen ve rejected. Diyalog örnekleri için, rolleri olan alanlar mevcuttur. Her iki sürümün de tek bir soruya cevap verip vermediğini kontrol edin ve sorguda veya dizinde olmayan bilgiler içermesin. Ardından, doğrulama için el kitabının başka bir bölümünden soruları uzaklaştırın. Tercih edilen cevabın girdi verilerinin netleştirilmesini istediği bir çift de hazırlayın.

## Eğitimden sonra kontrol

Kesin cevapları, ilgili açıklamaları ve kendinden emin kurguları ayrı olarak kontrol edin. Genel puan, eski doğru cevapların bazıları eksik olsa bile, daha kısa stil nedeniyle artabilir. Çalıştırılan parametrelerin yanında birkaç örnek kaydedin. Diyalog deseninin eğitim ve test sırasında eşleşip eşleşmediğini kontrol edin. Orijinal modelle karşılaştırma, aynı bağlam ve aynı nesil ayarlarıyla bir dizi soruda mantıklıdır. Önemli senaryolar için, manuel içerik denetimi ile otomatik metrikleri tamamlayın.

## Hangi görevler uygun

- Birkaç cevap üzerinde eğitimi test edin

- DPO öncesi ve sonrası karşılaştırma

Özellikler 

## Güçlü yönler

- Hazır bir DPOTrainer sınıfı ve örnek formatları vardır.

- Kütüphane Transformers ekosistemine bağlıdır.

Dikkate alınması gerekenler 

## Sınırlamalar

- Örnekteki tercihler son davranışı etkiler

- Eğitim setinin dışında kontrol etmek için, ayrı bir işaretlemeye ihtiyacınız var.

## Seçim ve koşullar

Ücretsiz kullanım

Evet

Deneme süresi

Doğrulanmadı

Kayıt gerektirmez

Doğrulanmadı

Rusça arayüz

Doğrulanmadı

Yerel kurulum

Evet

API

Doğrulanmadı

“Doğrulanmadı”, yeterli bilgi bulunmadığı anlamına gelir. Özellik mevcut olabilir; geliştiricinin koşullarını kontrol edin.

Girdi biçimleri

Metin, Veri

Sonuç

Veri, Model

### Koşullar

Açık kütüphanenin ayrı bir tarifesi yoktur. Hesaplamalar, yerleştirme ve orijinal modelin kullanım koşulları ayrı ayrı dikkate alınır. Örnekteki tercihler ortaya çıkan davranışı etkiler.

Görevden ilk sonuca

## Uygulama örneği

Görev

Birkaç cevap üzerinde eğitimi test edin

Ne hazırlamalısınız?

İstek ve cevapların bir eğitim seti, uyumlu bir model ve bireysel doğrulama örnekleri.

### Görev veya istem

Kısa bir eğitim koşusu hazırlayın. Model parametrelerini kaydedin ve aynı doğrulama istekleri üzerinde eğitimden önce ve sonra cevaplarını karşılaştırın.

### Beklenen sonuç

Kalite değişim raporu ve özelleştirilmiş adaptör veya kontrol noktası.

### Sonuç nasıl kontrol edilir

- Kopyaları çıkarın ve örnekler arasındaki seçenekleri kapatın.

- İçerik hatalarına ve format sapmalarına ayrı ayrı dikkat edin.

Bu, görevin nasıl tanımlanabileceğini gösteren editoryal bir eğitim örneğidir; servisi bizzat test ederek elde edilmiş bir sonuç değildir. Gerekli modun kullanılabilirliğini, kaynak dosyalar üzerindeki hakları ve sonucun kullanım koşullarını kontrol edin.

Ayrıntıları kontrol et

## Resmi kaynaklar

-  [Hugging Face TRL belgeleri ](https://huggingface.co/docs/trl/index)

-  [DPO Koç ve Veri Biçimleri ](https://huggingface.co/docs/trl/dpo_trainer)

-  [Resmi TRL deposu ](https://github.com/huggingface/trl)

Açıklama geliştiricinin materyallerine dayanmaktadır. Fırsatlar, fiyatlar ve kullanılabilirlik değişebilir; kullanımdan önce orijinal kaynağa bakın.

Kısaca araç hakkında

Geliştirici

Hugging Face

Kategori

[Kod](https://instain.ru/tr/category/code/)

Erişim

Uyumlu bir model, uygun veri ve bilgi işlem ortamı gereklidir. Başlamak için Transformers sürümlerini ve bağımlılıklarını kontrol edin.

Ödeme

Açık kütüphanenin ayrı bir tarifesi yoktur. Hesaplamalar, yerleştirme ve orijinal modelin kullanım koşulları ayrı ayrı dikkate alınır.

API

Ayrı bir API belirtilmedi

[Geliştirici Koşulları ](https://github.com/huggingface/trl)

Katalog değerlendirmesi

4.40 / 5 

Özellikler

4.50 / 5 

Çalışma senaryoları

4.00 / 5 

Ekosistem

4.60 / 5 

Belgeler

4.50 / 5 

Puanlar katalogda yol gösterir. Kullanıcı yorumu veya kişisel test sonucu değildir.

[Metodolojiye bakın ](https://instain.ru/tr/methodology/)

Tanımaya devam edin

## Benzer görevler için

[Kategorinin tamamı  ](https://instain.ru/tr/category/code/)

Kod 

###  [Unsloth](https://instain.ru/tr/ai/unsloth/)

LoRA adaptörleri ile uyumlu modellerin ek eğitimi

4.45 / 5   Model eğitim araçları  

Benzer görevler; koşulları, biçimleri ve sınırlamaları karşılaştırın