Ai2 Görüntü analizi için multimodal model

Molmo.

Resimdeki nesnelerle Ai2 görsel modeli

4.28 / 5Katalog değerlendirmesi
Resmî site

Molmo modelleri görsel girdi ve soruyu birleştirir. Desteklenen sürümlerde nesnenin koordinatlarını talep edebilirsiniz ve Molmo 2'de video ile de çalışabilirsiniz.

Molmo görsel modellerinin gözden geçirilmesi ile Ai2 sayfası
Ai2 sayfası Molmo görsel modellerinin gözden geçirilmesi. Kaynağı aç

Bir noktaya göre cevaplanabilecek bir soru

Deponun fotoğrafında iki benzer kutu var. Her ikisini de kahverengi olarak tanımlamak, operatörün bir üst seviyeye ihtiyacı varsa çok az şey yapar. Molmo, görüntüyü ve sorguyu birlikte işleyebilir ve desteklenen gösterge modu, konunun konumunu döndürür. Kontrol etmek için, elde edilen noktayı orijinal çerçeveye uygulayın ve doğru alana girdiğinden emin olun. Çemberleme çerçeveyi azaltır veya keserse, koordinat dönüşümünü önceden kontrol edin.

İki öğe ve boş bir çerçeve

Rafı iki kutu ile çıkarın, ardından üst kısmı çıkarın. İlk kare için, yerin net bir göstergesi olan bir soru sorun. İkinci olarak, değişmeden tekrarlayın. Modelin doğru kutuyu bulup bulmadığını ve yokluğunda nasıl davrandığını ayrı ayrı değerlendirin. Bir nesnenin diğerini kapattığı bir çerçeve eklemek yararlıdır. Görünür kısımda bir nokta elde etmek bile gizli kutunun ne kadar alanı kapladığını açıklamaz.

Doğrulama Nasıl Genişletilir

Birkaç kare işaretlemeniz gerekiyorsa, Ai2 belgelerinin video ile çalıştığı Molmo'yu seçin ve çerçeveleri zamanında kontrol edin. Ağırlıkların orijinal boyutunu, sorgu sözcüklendirmesini ve sürümünü kaydedin. Çerçevenin içeriği, koordinatları ve tam kontur hakkındaki cevapları paylaşın. Sınırlar için ayrı bir yöntem gerekecektir. Farklı ışıklandırma ve açıya sahip çerçevelerin doğrulanmasına ekleyin, böylece ilk fotoğraftaki başarılı bir cevap seçmek için tek neden değildir. Yanlış talimatların sayısından ayrı olarak geçiş sayısını yazın.

Hangi görevler uygun

  • Benzeri arasında istenen nesnenin işaretini kontrol edin
  • İçerikle ilgili soruların cevaplarını doğrulayın
Özellikler

Güçlü yönler

  • Model, nesnenin konumunun bir göstergesini döndürebilir
  • Ai2 ağırlıklar ve fırlatma örnekleri yayınlar
Dikkate alınması gerekenler

Sınırlamalar

  • Nokta nesnenin tam konturunu belirtmez
  • Occlusion ve benzeri öğeler ayrı kontroller gerektirir

Seçim ve koşullar

Ücretsiz kullanım
Evet
Deneme süresi
Doğrulanmadı
Kayıt gerektirmez
Doğrulanmadı
Rusça arayüz
Doğrulanmadı
Yerel kurulum
Evet
API
Doğrulanmadı

“Doğrulanmadı”, yeterli bilgi bulunmadığı anlamına gelir. Özellik mevcut olabilir; geliştiricinin koşullarını kontrol edin.

Girdi biçimleri
Görsel, Metin
Sonuç
Veri, Metin

Koşullar

Mevcut ağırlıkların koşulları ilgili modelin kartında belirtilmiştir. Ekipmanları veya yönetilen hesaplamaları ayrı ayrı ödenir. Nokta, nesnenin tam konturunu belirtmez.

Görevden ilk sonuca

Uygulama örneği

Görev
Benzeri arasında istenen nesnenin işaretini kontrol edin
Ne hazırlamalısınız?
Bir tanesi üst rafta duran iki benzer kutulu fotoğrafı.

Görev veya istem

Kutuyu üst rafa doğrult. Nesne görünmüyorsa, koordinatları diğer kutudan aktarmayın.

Beklenen sonuç

Doğrulama için kaynak çerçeveye uygulanabilecek koordinatlar.

Sonuç nasıl kontrol edilir

  • Görüntüyü yeniden boyutlandırdıktan sonra koordinat dönüşümünü doğrulayın.
  • Doğru kutu olmadan ikinci çerçeveyi kontrol edin.

Bu, görevin nasıl tanımlanabileceğini gösteren editoryal bir eğitim örneğidir; servisi bizzat test ederek elde edilmiş bir sonuç değildir. Gerekli modun kullanılabilirliğini, kaynak dosyalar üzerindeki hakları ve sonucun kullanım koşullarını kontrol edin.

Ayrıntıları kontrol et

Resmi kaynaklar

  1. Molmo resmi sayfası
  2. Model kartı Molmo 2

Açıklama geliştiricinin materyallerine dayanmaktadır. Fırsatlar, fiyatlar ve kullanılabilirlik değişebilir; kullanımdan önce orijinal kaynağa bakın.