vLLM ekibinden yapay zeka çıkarımına odaklı yeni girişim
Büyük dil modellerinin verimli çalışmasını sağlayan açık kaynak projesi vLLM’in arkasındaki ekip, yalnızca yapay zeka çıkarımına (inference) odaklanan yeni bir girişim kurdu. Şirket, ilk büyük finansman turunda önde gelen risk sermayesi şirketleri a16z (Andreessen Horowitz) ve Lightspeed Venture Partners’tan toplam 150 milyon dolar yatırım alarak dikkat çekti.
Yeni girişim, özellikle üretken yapay zekayı ürünlerine entegre etmek isteyen şirketlere, büyük dil modellerini daha hızlı ve daha düşük maliyetle çalıştırma imkânı sunmayı hedefliyor. Böylece hem kurumsal müşteriler hem de yapay zeka odaklı genç girişimler için altyapı maliyetlerinin aşağı çekilmesi amaçlanıyor.
Hedef: Daha hızlı ve maliyet etkin yapay zeka
vLLM projesi, büyük dil modellerinin GPU’lar üzerinde daha verimli çalışmasını sağlayan bellek yönetimi ve istek zamanlama teknikleriyle tanınıyor. Yeni kurulan şirket, bu teknikleri ticari bir altyapı hizmetine dönüştürerek, geliştiricilere bulut üzerinden ölçeklenebilir bir yapay zeka çıkarım katmanı sunmayı planlıyor.
Şirketin odak noktası, model eğitmekten çok, halihazırda eğitilmiş büyük modellerin gerçek zamanlı uygulamalarda kullanılmasını kolaylaştırmak. Sohbet robotları, kod asistanları, arama ve içerik üretim araçları gibi yüksek trafik alan uygulamaların, yanıt süresi ve maliyet baskısı altında çalıştığı biliniyor. Girişim, bu baskıyı azaltan bir performans katmanı sağlamayı hedefliyor.
Kurumsal pazara yönelik strateji
Yatırım turuna katılan a16z ve Lightspeed, daha önce de yapay zeka altyapısına odaklanan çok sayıda şirkete destek vermişti. Yeni fonla birlikte girişimin, mühendislik ekibini büyütmesi, farklı bulut sağlayıcılarıyla entegrasyonlarını artırması ve kurumsal müşteriler için güvenlik ile uyumluluk çözümlerini güçlendirmesi bekleniyor.
Yapay zeka alanında rekabetin giderek altyapı katmanına kaydığı bir dönemde, vLLM ekibinin yeni girişimi, özellikle yüksek performanslı çıkarım ihtiyacı olan şirketler için önemli bir alternatif olarak öne çıkıyor.