NVIDIA, 15 Ekim’de Nemotron ailesine metin ve görsel girdileri birlikte işleyen 3.5 Super VL modelini ve daha düşük bellek kapasitesine odaklanan Bolt sürümünü ekledi. Yeni modeller, şirketlerin belirli iş süreçlerine yönelik yapay zekâ ajanları geliştirmesi için sunuluyor. Duyurunun odağında yalnızca sohbet üretimi değil, belge ve görsellerden yapılandırılmış bilgi çıkarılması da bulunuyor.
Belgeleri ve görselleri aynı iş akışında işleme
Nemotron 3.5 Super VL, toplam 120 milyar parametreye sahip; uzman karışımı mimarisinde bir işlem sırasında bunların yaklaşık 12 milyarı etkin kullanılıyor. Toplam parametre sayısı ile aktif parametre sayısı aynı ölçü değil: mimari, her girdide modelin bütün bileşenlerini eşit biçimde çalıştırmak yerine ilgili uzmanları devreye alıyor.
Model; metin, görüntü, PDF belgeleri, tablolar, grafikler ve video gibi farklı girdilerle çalışacak şekilde tasarlandı. Görsellerdeki yazının okunması ve elde edilen bilgilerin yapılandırılmış çıktıya dönüştürülmesi, açıklanan kullanım alanları arasında. Bu özellikler, örneğin bir belgedeki alanları çıkarıp yazılımın kullanabileceği biçime çevirecek ajanların kurulmasına hizmet ediyor.
NVIDIA, geliştiricilerin modeli kendi alanlarına göre sonradan eğitebilmesi için NeMo araçlarını da işaret ediyor. Kurumların modeli kendi altyapılarında çalıştırabilmesi, bulut üzerinden sunulan tek bir sohbet arayüzüne bağımlı olmayan bir kullanım seçeneği oluşturuyor. Bununla birlikte gerçek iş akışındaki doğruluk, kullanılan veriler ve yapılan uyarlamalarla ayrıca ölçülmeli.
Bolt, daha dar bellek bütçesine odaklanıyor
Bolt 74B-A9B 24GB sürümü, yaklaşık 74 milyar toplam ve dokuz milyar aktif parametreyi daha sıkıştırılmış bir yapıda sunuyor. NVIDIA’nın teknik açıklamasında uzman ağırlıkları için 2,0625 bitlik gösterim kullanıldığı belirtiliyor. Bu sayı, modeldeki bütün bileşenlerin aynı bit derinliğine sahip olduğu anlamına gelmiyor.
24 GB hedefi, modelin bellek ihtiyacına ilişkin bir tasarım noktası. Kullanılacak yazılım, bağlam uzunluğu ve diğer çalışma yükleri hesaba katılmadan bunu bilgisayarın toplam bellek gereksinimi olarak okumamak gerekiyor. Bolt için llama.cpp, Ollama ve LM Studio gibi yerel çalıştırma seçenekleri açıklanıyor.
Erişime açılanlar ile sıradaki sürüm farklı
Super VL ve Bolt 74B, 15 Ekim itibarıyla erişime açılan modeller. Ağırlıklar, ilgili veri kaynakları ve geliştirme tarifleriyle birlikte sunuluyor; Hugging Face ve NVIDIA NIM ekosistemi dağıtım seçenekleri arasında bulunuyor. Daha küçük E4B 4GB sürümü için belirtilen tarih ise 23 Ekim; bu sürüm mevcut yayınla aynı anda çıkmış değil. NVIDIA’nın hız ve doğruluk karşılaştırmaları şirketin testlerine dayanıyor, her kurumun kendi verisinde aynı sonucu garanti etmiyor.