Inspect testi ilk örnekleri, etkileşim adımlarını ve sonuç doğrulamasını tanımlar. Ajan görevleri için, hem yanıtı hem de günlükteki eylemleri izleyebilirsiniz.
Test hangi gerçeği göstermelidir
Test asistanında model, aracın hiç çağrılmamasına rağmen kaydı güncellediğini belirtebilir. Inspect AI'da bu tür durumları metnin kalitesinden ayrı olarak kontrol etmek uygundur. Görev için, bir dizi girdi, bir eylem dizisi ve sonucu göstermenin bir yolu belirtilir. Araç aramasının durumu dergi ile kontrol edilebilir ve cevabın uygun ifadesi kriteri ile kontrol edilebilir.
Takım için küçük bir set yapın
Kurgusal bir referans kitabı alın ve ajanın sadece bir test kopyasında okumasına izin verin. Değişimi yazmak için düzenli bir istek ve istek ekleyin. İlk isteğe başarılı bir yanıt, dizinden bilgi içermelidir. İkinci olarak, rekoru aramamak daha önemlidir. Ayrıca boş bir değer ve bilinmeyen bir tanımlayıcı hazırlayın. Bu tür girdileri kontrol kurallarının yanında tutun, böylece yeni çalıştırma eskisiyle karşılaştırmak kolaydır.
izolasyona ihtiyaç duyduğunuzda
Kod yürütme için uygun izole ortamı seçin. Model erişimini yalnızca gerekli test araçlarına bırakın ve gerçek kimlik bilgilerini çalışmadan uzak tutun. Model versiyonunu, talimatları ve değerlendirme yöntemini düzeltin. Sonuç değiştiyse, başarısız bir örnek açın ve adımları sırayla kontrol edin. Bu nedenle modelin kendisinin kararının, enstrümanın davranışının veya gözlemi bir puana dönüştüren kuralın değişip değişmediğini belirlemek daha kolaydır. Orijinal teste bir bağlantı ekleyin ve bileşenlerin hangi sürümlerinin değiştiğini not edin.
Hangi görevler uygun
- Önceden doğrulanmış senaryolarda aracıyı kontrol edin
- Model talimatını değiştirirken testi tekrarlayın
Güçlü yönler
- Örnek, adım ve kontrollerin ayrılması vardır
- Yardım kendi adımlarınızı ve araçlarınızı açıklar
Sınırlamalar
- Değerlendirme, seçilen test ve kurallarla sınırlıdır.
- Başkasının kodunu çalıştırmak için ayrı bir izolasyona ihtiyacınız var.
Seçim ve koşullar
- Ücretsiz kullanım
- Evet
- Deneme süresi
- Doğrulanmadı
- Kayıt gerektirmez
- Doğrulanmadı
- Rusça arayüz
- Doğrulanmadı
- Yerel kurulum
- Evet
- API
- Doğrulanmadı
“Doğrulanmadı”, yeterli bilgi bulunmadığı anlamına gelir. Özellik mevcut olabilir; geliştiricinin koşullarını kontrol edin.
- Girdi biçimleri
- Metin, Kod
- Sonuç
- Metin, Veri
Koşullar
Çerçeve açık. Modeller çağrıldığında maliyetler, yürütme ortamının yerleştirilmesi ve işletilmesi ortaya çıkabilir. Değerlendirme, seçilen test ve kurallarla sınırlıdır.Görevden ilk sonuca
Uygulama örneği
- Görev
- Önceden doğrulanmış senaryolarda aracıyı kontrol edin
- Ne hazırlamalısınız?
- Asistanın bir test kopyası ve kurgusal bir okuma yazma politikası.
Görev veya istem
Düzenli ve sınır isteklerini yürütün. Geçerli okumanın işe yarayıp yaramadığını ve izinsiz eylemin dergide olmadığını kontrol edin.
Beklenen sonuç
Girişler, gözlemlenen eylemler ve yorumlarla kurallara rapor verin.
Sonuç nasıl kontrol edilir
- Araç kaydını yanıt metninden ayrı olarak kontrol edin.
- Test sadece üzerinde anlaşmaya varılmış bir ortamda yapılır.
Bu, görevin nasıl tanımlanabileceğini gösteren editoryal bir eğitim örneğidir; servisi bizzat test ederek elde edilmiş bir sonuç değildir. Gerekli modun kullanılabilirliğini, kaynak dosyalar üzerindeki hakları ve sonucun kullanım koşullarını kontrol edin.
Ayrıntıları kontrol et
Resmi kaynaklar
Açıklama geliştiricinin materyallerine dayanmaktadır. Fırsatlar, fiyatlar ve kullanılabilirlik değişebilir; kullanımdan önce orijinal kaynağa bakın.
