Canonical: https://instain.ru/tr/ai/promptfoo/ Language: tr OpenAI AI Uygulama Güvenliği Denetleyici Aracı # Promptfoo. Uygulama davranışının dil modelleriyle tekrarlanabilir testleri 4.40 / 5 [Katalog değerlendirmesi](https://instain.ru/tr/ai/promptfoo/#editorial-rating) [Resmî site ](https://developers.openai.com/api/docs/guides/promptfoo-codex) Promptfoo, AI uygulamaları için giriş ve doğrulama süitlerini başlatır. Değişiklikleri değerlendirmek ve ortamınızda kabul edilen kuralları doğrulamak için kullanılabilir. ![OpenAI örnek raporu ile Kılavuzu Promptfoo](https://instain.ru/assets/images/promptfoo-screen-a04439ab6fe4-1200.webp) Liderlik OpenAI Örnek Rapor ile Promptfoo. [Kaynağı aç ](https://developers.openai.com/api/docs/guides/promptfoo-codex) ## Sadece ret ifadesini kontrol etme Ajan kibarca bir şey değiştirmediğini söyleyebilir, ancak araç zaten bir komut göndermiştir. Promptfoo'da, yanıtı ve mevcut performans kanıtlarını kontrol eden senaryoları toplayabilirsiniz. İlk çalıştırma için, test uygulamanızı ve harici aletin fişini alın. Hangi işlemlere izin verildiğini belirleyin ve çağrı kaydını kaydedin. O zaman sonuç sadece modelin metninin güvenilirliğine bağlı olmayacaktır. ## Otoritenin eğitim sınırı Test asistanında, siparişin durumunu okuyabilirsiniz ve değişiklikler manuel onay gerektirir. Düzenli bir durum sorusu, belirsiz bir istek ve kaydı değiştirmek için açık bir talepte bulunun. Sadece cevabı değil, kayıt aracının çağrı sayısını da doğrulayın. Modeli değiştirdikten sonra, seti aynı veriler üzerinde tekrarlayın. Güvenli okumanın tehlikeli davranışları düzeltmekle aynı anda çalışmayı bırakmadığından emin olun. ## Testleri Tekrarlanabilir Yapan Nedir? Girdileri, beklenen sonuçları ve uygulama sürümünü birlikte saklayın. Sonuç başka bir model tarafından değerlendirildiğinde, tartışmalı durumları manuel olarak gözden geçirin. Kayıt girişi gibi yapılandırılmış bir sinyal için, kodda doğru bir kontrol kullanın. Testler verilen durumları kapsar. Doğrulama izinlerini ve test ortamı sınırlarını korurken gerçek rol ve araç değişikliklerinin yeni örneklerini ekleyin. Her koşu için, ajanın gerçekte ne aldığına dikkat edin. Uygulama birden fazla kullanıcı grubuna hizmet veriyorsa betiği farklı bir rolle tekrarlayın. ## Hangi görevler uygun - Test ajanının yalnızca yetkili eylemleri gerçekleştirip gerçekleştirmediğini kontrol edin - Bir sette iki yapılandırmanın sonuçlarını karşılaştırın Özellikler ## Güçlü yönler - Tekrarlanabilir test setlerini ve sonuç kontrollerini destekler - Entegrasyon ve değerlendirme için resmi kurallar vardır. Dikkate alınması gerekenler ## Sınırlamalar - Yalnızca başvurunuzu veya açıkça izin verilen ortamı kontrol edebilirsiniz. - Metin değerlendirmesi dış eylemlerin ve rollerin yerini almaz ## Seçim ve koşullar Ücretsiz kullanım Evet Deneme süresi Doğrulanmadı Kayıt gerektirmez Doğrulanmadı Rusça arayüz Doğrulanmadı Yerel kurulum Evet API Doğrulanmadı “Doğrulanmadı”, yeterli bilgi bulunmadığı anlamına gelir. Özellik mevcut olabilir; geliştiricinin koşullarını kontrol edin. Girdi biçimleri Metin, Kod Sonuç Metin, Veri ### Koşullar Açık kütüphane abonelik olmadan kullanılabilir. Model aramaları, hesaplamalar ve yönetilen yetenekler ayrı ayrı hesaba katılır. Sadece başvurunuzu veya açıkça izin verilen ortamı kontrol edebilirsiniz. Görevden ilk sonuca ## Uygulama örneği Görev Test ajanının yalnızca yetkili eylemleri gerçekleştirip gerçekleştirmediğini kontrol edin Ne hazırlamalısınız? Asistanın bir test kopyası ve kurgusal bir okuma yazma politikası. ### Görev veya istem Düzenli ve sınır isteklerini yürütün. Geçerli okumanın işe yarayıp yaramadığını ve izinsiz eylemin dergide olmadığını kontrol edin. ### Beklenen sonuç Girişler, gözlemlenen eylemler ve yorumlarla kurallara rapor verin. ### Sonuç nasıl kontrol edilir - Araç kaydını yanıt metninden ayrı olarak kontrol edin. - Test sadece üzerinde anlaşmaya varılmış bir ortamda yapılır. Bu, görevin nasıl tanımlanabileceğini gösteren editoryal bir eğitim örneğidir; servisi bizzat test ederek elde edilmiş bir sonuç değildir. Gerekli modun kullanılabilirliğini, kaynak dosyalar üzerindeki hakları ve sonucun kullanım koşullarını kontrol edin. Ayrıntıları kontrol et ## Resmi kaynaklar - [OpenAI için Promptfoo ](https://developers.openai.com/api/docs/guides/promptfoo-codex) - [Promptfoo'ya Resmi Giriş ](https://www.promptfoo.dev/docs/intro/) Açıklama geliştiricinin materyallerine dayanmaktadır. Fırsatlar, fiyatlar ve kullanılabilirlik değişebilir; kullanımdan önce orijinal kaynağa bakın. Kısaca araç hakkında Geliştirici OpenAI Kategori [Kod](https://instain.ru/tr/category/code/) Erişim Açık araç projeden başlatılır. Test uygulaması ve değerlendirme modeli kontroller için bağlanır. Ödeme Açık kütüphane abonelik olmadan kullanılabilir. Model aramaları, hesaplamalar ve yönetilen yetenekler ayrı ayrı hesaba katılır. API Ayrı bir API belirtilmedi [Geliştirici Koşulları ](https://www.promptfoo.dev/docs/intro/) Katalog değerlendirmesi 4.40 / 5 Özellikler 4.50 / 5 Çalışma senaryoları 4.10 / 5 Ekosistem 4.40 / 5 Belgeler 4.60 / 5 Puanlar katalogda yol gösterir. Kullanıcı yorumu veya kişisel test sonucu değildir. [Metodolojiye bakın ](https://instain.ru/tr/methodology/) Tanımaya devam edin ## Benzer görevler için [Kategorinin tamamı ](https://instain.ru/tr/category/code/) Kod ### [Inspect AI](https://instain.ru/tr/ai/inspect-ai/) Bir dizi girdiye sahip görevler, eylemlerin sıralanması ve sonucun doğrulanması 4.38 / 5 Dil Modeli Değerlendirmesi Çerçevesi Benzer görevler; koşulları, biçimleri ve sınırlamaları karşılaştırın Kod ### [NVIDIA NeMo Guardrails](https://instain.ru/tr/ai/nvidia-nemo-guardrails/) Girişler, çıkışlar ve model eylemleri için programlanabilir kurallar 4.30 / 5 modellerle uygulamalar için kural kütüphanesi Benzer görevler; koşulları, biçimleri ve sınırlamaları karşılaştırın