Promptfoo, AI uygulamaları için giriş ve doğrulama süitlerini başlatır. Değişiklikleri değerlendirmek ve ortamınızda kabul edilen kuralları doğrulamak için kullanılabilir.
Sadece ret ifadesini kontrol etme
Ajan kibarca bir şey değiştirmediğini söyleyebilir, ancak araç zaten bir komut göndermiştir. Promptfoo'da, yanıtı ve mevcut performans kanıtlarını kontrol eden senaryoları toplayabilirsiniz. İlk çalıştırma için, test uygulamanızı ve harici aletin fişini alın. Hangi işlemlere izin verildiğini belirleyin ve çağrı kaydını kaydedin. O zaman sonuç sadece modelin metninin güvenilirliğine bağlı olmayacaktır.
Otoritenin eğitim sınırı
Test asistanında, siparişin durumunu okuyabilirsiniz ve değişiklikler manuel onay gerektirir. Düzenli bir durum sorusu, belirsiz bir istek ve kaydı değiştirmek için açık bir talepte bulunun. Sadece cevabı değil, kayıt aracının çağrı sayısını da doğrulayın. Modeli değiştirdikten sonra, seti aynı veriler üzerinde tekrarlayın. Güvenli okumanın tehlikeli davranışları düzeltmekle aynı anda çalışmayı bırakmadığından emin olun.
Testleri Tekrarlanabilir Yapan Nedir?
Girdileri, beklenen sonuçları ve uygulama sürümünü birlikte saklayın. Sonuç başka bir model tarafından değerlendirildiğinde, tartışmalı durumları manuel olarak gözden geçirin. Kayıt girişi gibi yapılandırılmış bir sinyal için, kodda doğru bir kontrol kullanın. Testler verilen durumları kapsar. Doğrulama izinlerini ve test ortamı sınırlarını korurken gerçek rol ve araç değişikliklerinin yeni örneklerini ekleyin. Her koşu için, ajanın gerçekte ne aldığına dikkat edin. Uygulama birden fazla kullanıcı grubuna hizmet veriyorsa betiği farklı bir rolle tekrarlayın.
Hangi görevler uygun
- Test ajanının yalnızca yetkili eylemleri gerçekleştirip gerçekleştirmediğini kontrol edin
- Bir sette iki yapılandırmanın sonuçlarını karşılaştırın
Güçlü yönler
- Tekrarlanabilir test setlerini ve sonuç kontrollerini destekler
- Entegrasyon ve değerlendirme için resmi kurallar vardır.
Sınırlamalar
- Yalnızca başvurunuzu veya açıkça izin verilen ortamı kontrol edebilirsiniz.
- Metin değerlendirmesi dış eylemlerin ve rollerin yerini almaz
Seçim ve koşullar
- Ücretsiz kullanım
- Evet
- Deneme süresi
- Doğrulanmadı
- Kayıt gerektirmez
- Doğrulanmadı
- Rusça arayüz
- Doğrulanmadı
- Yerel kurulum
- Evet
- API
- Doğrulanmadı
“Doğrulanmadı”, yeterli bilgi bulunmadığı anlamına gelir. Özellik mevcut olabilir; geliştiricinin koşullarını kontrol edin.
- Girdi biçimleri
- Metin, Kod
- Sonuç
- Metin, Veri
Koşullar
Açık kütüphane abonelik olmadan kullanılabilir. Model aramaları, hesaplamalar ve yönetilen yetenekler ayrı ayrı hesaba katılır. Sadece başvurunuzu veya açıkça izin verilen ortamı kontrol edebilirsiniz.Görevden ilk sonuca
Uygulama örneği
- Görev
- Test ajanının yalnızca yetkili eylemleri gerçekleştirip gerçekleştirmediğini kontrol edin
- Ne hazırlamalısınız?
- Asistanın bir test kopyası ve kurgusal bir okuma yazma politikası.
Görev veya istem
Düzenli ve sınır isteklerini yürütün. Geçerli okumanın işe yarayıp yaramadığını ve izinsiz eylemin dergide olmadığını kontrol edin.
Beklenen sonuç
Girişler, gözlemlenen eylemler ve yorumlarla kurallara rapor verin.
Sonuç nasıl kontrol edilir
- Araç kaydını yanıt metninden ayrı olarak kontrol edin.
- Test sadece üzerinde anlaşmaya varılmış bir ortamda yapılır.
Bu, görevin nasıl tanımlanabileceğini gösteren editoryal bir eğitim örneğidir; servisi bizzat test ederek elde edilmiş bir sonuç değildir. Gerekli modun kullanılabilirliğini, kaynak dosyalar üzerindeki hakları ve sonucun kullanım koşullarını kontrol edin.
Ayrıntıları kontrol et
Resmi kaynaklar
Açıklama geliştiricinin materyallerine dayanmaktadır. Fırsatlar, fiyatlar ve kullanılabilirlik değişebilir; kullanımdan önce orijinal kaynağa bakın.
