Arize AI Modellerle uygulamaları gözlemlemek ve değerlendirmek

Arize Phoenix.

Uygulamadaki istekleri, aramaları ve nesilleri takip etmek

4.35 / 5Katalog değerlendirmesi
Resmî site

Phoenix, modellerle birlikte uygulama parçaları alıyor. Ekip bir meydan okuma zinciri açabilir ve kalite puanlarını tek bir adımla veya tüm bir cevapla bağlayabilir.

Parça ve değerlendirme genel bakışı ile dokümantasyon Arize Phoenix
İzlenebilirlik ve değerlendirmeye genel bir bakışla dokümantasyon Arize Phoenix. Kaynağı aç

Cevaptan önce ne olduğunu görmek için nasıl

Bir arama uygulamasında, başarısız bir cevap çeşitli nedenleri gizleyebilir. İndeks istenen parçayı döndürmedi, filtre onu attı veya model bulunan metni yanlış okudu. Arize Phoenix, pistteki adımlarla ilgili verileri toplar. Takım kurulduğunda, geliştirici nesilden ayrı bir arama çağrısı açabilir. İlk deneyim için, bir kişisel olmayan zincir ve bilinen bir kaynağa sahip bir soru yeterlidir.

Antrenman pistindeki işaretler

Bir soruya iki cevap ver. İlk durumda, bağlamda gerekli bir paragraf vardır, ikincisinde değildir. Hangi olayın model snippet'leri ilettiğini ve hangi metni geri gönderdiğini kontrol edin. Arama kalitesi ve çıktı kalitesi etiketlerini ayrı ayrı ayarlayın. Ardından manuel skoru seçilen otomatik skorer ile karşılaştırın. Model yanlış cevabın iyi bir tahminini yaptıysa, bu örneği saklayın ve kriteri netleştirin.

Dergide ne bırakılacak

Parçaları geçmeden önce hassas bilgileri kaldırın. Bir gecikmeyi aramak için, bazen yeterli adım adları, süreler ve kişisel olmayan tanımlayıcılar vardır. Sorunun içeriği ve bulunan belgeler yalnızca sağlandığı yerde saklanmalıdır. Son teslim tarihleri ve rolleri ayarlayın, aynı cevabın endeksin ve modelin doğru sürümüne bağlanabileceğini kontrol edin. Yükün artmasıyla birlikte, gözlemlenen verilerin hacmini ve otomatik tahminlerin sıklığını ayrı tahmin edin. Farklı koşularda aynı tür izleri karşılaştırın.

Hangi görevler uygun

  • Sorgu Zincirinde Arama Başarısızlığını Bul
  • Manuel kalite etiketlerini ve otomatik derecelendirmeleri karşılaştırın
Özellikler

Güçlü yönler

  • İlgili model adımlarını ve araçlarını gösterir
  • Model ve parça görünümü ile belge değerlendirmesi
Dikkate alınması gerekenler

Sınırlamalar

  • İzlerin güvenli bir şekilde çalınması gerekir
  • Model değerlendirmesi manuel işaretleme ile uzlaşmayı gerektirir

Seçim ve koşullar

Ücretsiz kullanım
Evet
Deneme süresi
Doğrulanmadı
Kayıt gerektirmez
Doğrulanmadı
Rusça arayüz
Doğrulanmadı
Yerel kurulum
Evet
API
Doğrulanmadı

“Doğrulanmadı”, yeterli bilgi bulunmadığı anlamına gelir. Özellik mevcut olabilir; geliştiricinin koşullarını kontrol edin.

Girdi biçimleri
Veri, Metin
Sonuç
Metin, Veri

Koşullar

Açık versiyonun kütüphane lisans ücreti yoktur. Konum, parça koruma ve değerlendirme modelleri ayrı maliyetlere sahiptir. İzlerin güvenli bir şekilde çalınması gerekir.

Görevden ilk sonuca

Uygulama örneği

Görev
Sorgu Zincirinde Arama Başarısızlığını Bul
Ne hazırlamalısınız?
Soru, arama sonuçları ve cevap ile yardımcı test izi.

Görev veya istem

İstenilen parçanın kaybolduğu adımı bulun. Yanıtın doğruluğunun ve bağlamın uygunluğunun değerlendirilmesini karşılaştırın.

Beklenen sonuç

Sorun adım hakkında makul bir sonuca sahip işaretli bir parça.

Sonuç nasıl kontrol edilir

  • Çıktıyı manuel işaretleme ile doğrulayın.
  • Hangi rayların kaydedildiğini kontrol edin.

Bu, görevin nasıl tanımlanabileceğini gösteren editoryal bir eğitim örneğidir; servisi bizzat test ederek elde edilmiş bir sonuç değildir. Gerekli modun kullanılabilirliğini, kaynak dosyalar üzerindeki hakları ve sonucun kullanım koşullarını kontrol edin.

Ayrıntıları kontrol et

Resmi kaynaklar

  1. Arize Phoenix resmi belgeleri
  2. Yerleşik değerlendirmeciler Phoenix
  3. Phoenix Konaklama Seçenekleri

Açıklama geliştiricinin materyallerine dayanmaktadır. Fırsatlar, fiyatlar ve kullanılabilirlik değişebilir; kullanımdan önce orijinal kaynağa bakın.