Kütüphane, kaydedilen örneklerden arama ve nesil paketinin değerlendirilmesine yardımcı olur. metrik Faithfulness bulunan parçalardan hangi ifadelerin takip ettiğini kontrol eder.
Modelin gördüğü parçaları kaydet
Dönüş hakkında soru sorulduğunda, asistan kendinden emin bir şekilde cevap verir, ancak makalede, onun tarafından adlandırılmış bir son tarih olmadığını bulmuştur. Sebebini anlamak için, soruyu, cevabı ve sorguya gerçekten modele giren parçaları kaydedin. Ragas'da, metrik Faithfulness bu bağlama dayanmadan ifadelerin bulunmasına yardımcı olur. Doğru parça hiç bulunamadıysa veya gereksiz malzemelerin altındaysa ayrı bir arama kontrolü gereklidir.
Bir eğitim testi nasıl toplanır
Kurgusal mağaza kurallarını ve birkaç sorguyu alın. Bir örnekte, cevap var olmayan bir terim ekler, diğerinde bulunan kuralı doğru bir şekilde iletir, üçüncüsinde ek bir soru gerekir. Manuel işaret, otomatik değerlendirmeyi kontrol etmek için kullanışlıdır. Arama şeklinizi değiştirdikten sonra, sadece genel rakamı değil, aynı zamanda aynı sorulara bireysel yanıtları da karşılaştırın. Bu nedenle, hangi ayarın bağlamı iyileştirdiğini ve hangi hataların kaldığını görmek daha kolaydır.
Değerlendirmenin yanlış olabileceği durumlarda
Bulunan belge modası geçmiş bir kural içeriyorsa, resmi olarak cevap buna karşılık gelebilir. Gerçekleri doğrulamak için ek bir kaynağa ihtiyaç vardır. Değerlendirme modeli, aksi takdirde inkar veya dışlama koşullarını da anlayabilir. Manuel uzlaşma için bu tür birkaç örnek seçin ve sonuçla birlikte metrik sürümünü saklayın. Hizmet materyalleri için, bunları değerlendirme için kullandığınız harici bir sağlayıcıya aktarmanın mümkün olup olmadığına önceden karar verin ve veri setini sınırlayın.
Hangi görevler uygun
- Doğrulanmamış iddialarla cevap bul
- Aynı sorular için iki arama seçeneğini karşılaştırın
Güçlü yönler
- Cevap vermek ve aramak için ayrı metrikler vardır.
- Sertifika, beklenen girdileri ve hesaplamayı ayrıntılı olarak açıklar
Sınırlamalar
- Model tahmini belirsiz örneklerde yanlış olabilir
- Bağlamın doğrulanması, kaynağın doğru olduğu anlamına gelmez.
Seçim ve koşullar
- Ücretsiz kullanım
- Evet
- Deneme süresi
- Doğrulanmadı
- Kayıt gerektirmez
- Doğrulanmadı
- Rusça arayüz
- Doğrulanmadı
- Yerel kurulum
- Evet
- API
- Doğrulanmadı
“Doğrulanmadı”, yeterli bilgi bulunmadığı anlamına gelir. Özellik mevcut olabilir; geliştiricinin koşullarını kontrol edin.
- Girdi biçimleri
- Metin, Veri
- Sonuç
- Veri, Metin
Koşullar
Kütüphane açık kaynak olarak mevcuttur. Dış değerlendirme modeline yapılan talepler oranlarından ödenebilir. Model tahmini belirsiz örneklerde yanlış olabilir.Görevden ilk sonuca
Uygulama örneği
- Görev
- Doğrulanmamış iddialarla cevap bul
- Ne hazırlamalısınız?
- Eğitim soruları, beklenen koşullar, doğru ve hatalı cevaplar.
Görev veya istem
Cevapları onaylanmış bir kritere göre değerlendirin. Talimatları değiştirdikten sonra çalıştırmayı tekrarlayın ve puanın değiştiği durumları gösterin.
Beklenen sonuç
Tahminleri ve doğrulanabilir örnekleri olan gerilemelerin bir listesi.
Sonuç nasıl kontrol edilir
- Puanları manuel işaretlerle kontrol edin.
- Birkaç sınır davasını eşik ayarının dışında bırakın.
Bu, görevin nasıl tanımlanabileceğini gösteren editoryal bir eğitim örneğidir; servisi bizzat test ederek elde edilmiş bir sonuç değildir. Gerekli modun kullanılabilirliğini, kaynak dosyalar üzerindeki hakları ve sonucun kullanım koşullarını kontrol edin.
Ayrıntıları kontrol et
Resmi kaynaklar
Açıklama geliştiricinin materyallerine dayanmaktadır. Fırsatlar, fiyatlar ve kullanılabilirlik değişebilir; kullanımdan önce orijinal kaynağa bakın.
