Sunucu, isteklerin parçalarını eşleştirmek için hesaplamaları yeniden kullanır. Önbelleğin etkisi, aynı nesil parametrelerine sahip tekrarlanabilir bir giriş kümesi üzerinde değerlendirilebilir.
Girişlerde bir tekrar bulun
Diyelim ki takım aynı kılavuzu okuyor ve farklı sorular soruyor. Her istekte yanıt kuralları ve belgenin kendisi tekrarlanır ve sadece soru değişir. SGLang önekini önbelleğe almaya bakmanız gereken bu kümededir. Sunucu, daha önce yapılan hesaplamaların bir kısmını yeniden kullanabilir. Her istek yeni bir kişisel macun ile başlarsa, başlangıçta daha az maç olacak ve resim değişecektir.
Bir model için iki set
Eşit karmaşıklıktaki eğitim sorularını toplayın. İlk seride, başlangıçta genel bir talimat ve belge bırakın. İkincisi, aynı boyutta farklı belgeler koyun. Seriyi aynı yanıt uzunluğunda çalıştırın ve ilk parça görünene kadar, hata sayısı ve bellekteki yükü kaydedin. Önbellek efektini model veya sıcaklık değişiklikleri ile karıştırmayın. Küçük bir koşu için, soğuk başlangıç ve ilk dönüşler özellikle fark edilir, bu nedenle bunları ayrı ayrı işaretleyin.
Bir karar nasıl alınır
Tipik sorgular nadiren ortak bir kökene sahipse, sunucuları öncelikle gerçek uzunluk ve isabet sayısı dağılımındaki davranış için karşılaştırın. Bir iplik tekrarlandığında, kaç paylaşılan belgenin çalışma yapılandırmasına uyduğunu yazmak yararlıdır. Uygulamadan önce, yeniden başlatıldıktan sonra istenen modelin, müşteri rotasının ve davranışın kullanılabilirliğini kontrol edin. Hesaplama önbelleği yeniden ısıtılabilir ve belge hakları kontrolü bir uygulama görevi olarak kalmalıdır.
Hangi görevler uygun
- Yükü genel ve değişen giriş başlangıcı ile karşılaştırın
- Tekrarlanan bir dizi çağrı için sunucuyu kontrol edin
Güçlü yönler
- Ön düzeltme önbellekleme ve paralel başlatma belgelendi
- Birkaç model aile için örnekler var
Sınırlamalar
- Kazanç, girişlerin yapısına ve başlangıç moduna bağlıdır.
- Ekipman ve model formatı desteği ayrı ayrı kontrol edilir
Seçim ve koşullar
- Ücretsiz kullanım
- Evet
- Deneme süresi
- Doğrulanmadı
- Kayıt gerektirmez
- Doğrulanmadı
- Rusça arayüz
- Doğrulanmadı
- Yerel kurulum
- Evet
- API
- Evet
“Doğrulanmadı”, yeterli bilgi bulunmadığı anlamına gelir. Özellik mevcut olabilir; geliştiricinin koşullarını kontrol edin.
- Girdi biçimleri
- Metin, Kod
- Sonuç
- Metin, Veri
Koşullar
Açık kaynaklı motoru kendiniz kurabilirsiniz. Donanım ve barındırma maliyetleri ile model ağırlıklarının lisansı, seçilen yapılandırmaya bağlıdır. Performans kazancı, girdilerin yapısına ve sunucunun çalışma biçimine bağlıdır.Görevden ilk sonuca
Uygulama örneği
- Görev
- Yükü genel ve değişen giriş başlangıcı ile karşılaştırın
- Ne hazırlamalısınız?
- Desteklenen model, test sunucusu ve küçük bir dizi kısa ve uzun istek.
Görev veya istem
Modeli bir test sunucusunda çalıştırın. Yanıtları karşılaştırın ve tek bir sorgu için bekleme sürelerini ve eş zamanlı çağrıları bir grup için.
Beklenen sonuç
Kaydedilen girdilerle gecikmeler, hatalar ve başlangıç ayarları tablosu.
Sonuç nasıl kontrol edilir
- Karşılaştırmadan önce üretim ayarlarını ve ağırlıkların sürümünü kontrol edin.
- Uzun talebi kontrol edin ve hatadan sonra açık ağdan erişim olmadan tekrarlayın.
Bu, görevin nasıl tanımlanabileceğini gösteren editoryal bir eğitim örneğidir; servisi bizzat test ederek elde edilmiş bir sonuç değildir. Gerekli modun kullanılabilirliğini, kaynak dosyalar üzerindeki hakları ve sonucun kullanım koşullarını kontrol edin.
Ayrıntıları kontrol et
Resmi kaynaklar
Açıklama geliştiricinin materyallerine dayanmaktadır. Fırsatlar, fiyatlar ve kullanılabilirlik değişebilir; kullanımdan önce orijinal kaynağa bakın.
