DeepEval'de, test vakalarını girdi, yanıt ve kriterlerle toplayabilirsiniz. Bazı metrikler farklı bir model kullanır, bu nedenle eşiklerin örneklere karşı kontrol edilmesi gerekir.
Sessiz bir regresyon nasıl tespit edilir
Talimatları düzenledikten sonra asistan daha kısa cevap verir, ancak önemli bir istisnayı atlamaya başlar. DeepEval, böyle bir vakayı tekrarlanabilir bir teste dönüştürmeye yardımcı olur. Soruyu, kaynak materyali ve beklenen durumu kaydedin. Bir metrik için model tabanlı bir değerlendiriciye ihtiyacınız varsa, önce bilinen işaretleme ile birden fazla cevap üzerinde kontrol edin. "Kaliteyi takdir etmek" deyimi çok geniştir. Örneğin, belirli bir girdi için geçerli olduğunda bir istisnadan bahsedilip bahsedilmediğini öğrenmek önemlidir.
Benzer bir başlangıç ile iki cevap
Doğru cevabı, kayıp koşullu cevabı ve kaynakta olmayan ifadeyle cevabı verin. Seçilen kontrolü çalıştırın ve çözümünü manuel bir etiketle karşılaştırın. Eğer kriter bir hatayı kaçırırsa, bunu açıklığa kavuşturun veya ayrı bir kural ekleyin. İlk seçim için eşiği ayarlamamak için, kurulduktan sonra birkaç sınır örneği ekleyin.
Talimatların yeni sürümü ile aynı seti çalıştırın. Puanları bireysel sorular düzeyinde tutun, aksi takdirde bir ortalama değişiklikleri gizleyecektir.
Model kontrolü uygun olduğunda
Tam olarak gerekli alan, güvenilir bir şekilde kaldırılabilirse yazılımı kontrol etmek için daha iyidir. Değerlendirme modeli semantik özellikler için yararlıdır, ancak yargısı örnek alınarak revize edilmelidir. Kullanılan yapılandırmada değerlendiricinin sürümünü, parametrelerini ve çalıştırmanın fiyatını yazın. Sonuç eşik yakınında dalgalanıyorsa, testi zorunlu bir serbest bırakma kontrolü yapmadan önce belirli cevapları analiz edin. Test seti ile birlikte her bir metriğin bir açıklamasını tutun.
Hangi görevler uygun
- Talimatlar değiştirildikten sonra yanıtların bozulmasını izleyin
- İşaretli örneklerde seçilen metriğin uygunluğunu kontrol edin
Güçlü yönler
- Belge test vakaları ve metrik seçenekleri
- Komut satırından test çalıştırmalarını destekler
Sınırlamalar
- Değerlendirme modeli yanlış olabilir ve zorluklar arasındaki çözümü değiştirebilir
- Kriterler ve eşikler manuel örneklerle karşılaştırılmalıdır.
Seçim ve koşullar
- Ücretsiz kullanım
- Evet
- Deneme süresi
- Doğrulanmadı
- Kayıt gerektirmez
- Doğrulanmadı
- Rusça arayüz
- Doğrulanmadı
- Yerel kurulum
- Evet
- API
- Doğrulanmadı
“Doğrulanmadı”, yeterli bilgi bulunmadığı anlamına gelir. Özellik mevcut olabilir; geliştiricinin koşullarını kontrol edin.
- Girdi biçimleri
- Metin, Veri
- Sonuç
- Veri, Metin
Koşullar
Açık kütüphanenin zorunlu tarifesi yoktur. Değerlendirme modelinin zorlukları ve bulut platformunun işlevleri ayrı ayrı hesaba katılır. Değerlendirme modeli yanlış olabilir ve zorluklar arasındaki çözümü değiştirebilir.Görevden ilk sonuca
Uygulama örneği
- Görev
- Talimatlar değiştirildikten sonra yanıtların bozulmasını izleyin
- Ne hazırlamalısınız?
- Eğitim soruları, beklenen koşullar, doğru ve hatalı cevaplar.
Görev veya istem
Cevapları onaylanmış bir kritere göre değerlendirin. Talimatları değiştirdikten sonra çalıştırmayı tekrarlayın ve puanın değiştiği durumları gösterin.
Beklenen sonuç
Tahminleri ve doğrulanabilir örnekleri olan gerilemelerin bir listesi.
Sonuç nasıl kontrol edilir
- Puanları manuel işaretlerle kontrol edin.
- Birkaç sınır davasını eşik ayarının dışında bırakın.
Bu, görevin nasıl tanımlanabileceğini gösteren editoryal bir eğitim örneğidir; servisi bizzat test ederek elde edilmiş bir sonuç değildir. Gerekli modun kullanılabilirliğini, kaynak dosyalar üzerindeki hakları ve sonucun kullanım koşullarını kontrol edin.
Ayrıntıları kontrol et
Resmi kaynaklar
Açıklama geliştiricinin materyallerine dayanmaktadır. Fırsatlar, fiyatlar ve kullanılabilirlik değişebilir; kullanımdan önce orijinal kaynağa bakın.
