Miami merkezli yapay zeka girişimi Subquadratic, ilk büyük dil modeli SubQ'yu 5 Mayıs 2026'da tanıttı ve 29 milyon dolarlık tohum yatırımıyla stealth modundan çıktığını duyurdu. Şirket, modelin tek bir istemde 12 milyon token işleyebildiğini, bunun yaklaşık 9 milyon kelimeye ya da 120 kitaba denk geldiğini belirtiyor. Mevcut sınır modellerinin çoğu, en fazla 1 milyon token bağlam penceresi sunuyor.
SubQ'nun temelinde, şirketin "Subquadratic Sparse Attention" (SSA) adını verdiği yeni bir mimari yer alıyor. Geleneksel transformer modellerinde her token, dizideki diğer her tokenla karşılaştırıldığı için dikkat maliyeti bağlam uzunluğu arttıkça karesel büyüyor. Subquadratic, içerik bağımlı seçim mekanizmasıyla yalnızca anlamlı token ilişkilerinin hesaplandığını ve maliyetin bağlam uzunluğuna göre doğrusal arttığını söylüyor. Şirketin paylaştığı verilere göre SubQ, RULER 128K testinde %95 doğruluk, SWE-Bench Verified üzerinde %81,8 ve 1 milyon token uzunluğunda MRCR v2 testinde %65,9 puan elde etti.
Şirketi CEO Justin Dangel ve CTO Alexander Whedon kurdu; ekipte 11 doktoralı araştırmacı görev yapıyor. Yatırımcılar arasında Tinder kurucu ortağı Justin Mateen, eski SoftBank Vision Fund ortağı Javier Villamizar ile Anthropic, OpenAI, Stripe ve Brex'in erken dönem yatırımcıları bulunuyor. Şirketin yaklaşık 500 milyon dolar değerleme üzerinden turu kapattığı bildirildi. Subquadratic aynı anda üç ürünü özel beta aşamasına aldı: tam bağlam penceresine erişim sağlayan SubQ API, depo ölçekli kod tabanlarında çalışan komut satırı ajanı SubQ Code ve ücretsiz sunulacağı açıklanan araştırma aracı SubQ Search.
Şirket, SSA mimarisinin 12 milyon token uzunluğunda dikkat hesaplamasını rakip modellere kıyasla yaklaşık 1.000 kat azalttığını öne sürüyor; ancak araştırma topluluğu iddialara temkinli yaklaşıyor. Mamba, RWKV, DeepSeek Sparse Attention ve Kimi Linear gibi önceki subquadratic yaklaşımların sınır ölçeklerde dense dikkati geçemediği hatırlatılıyor. 2024 yılında 100 milyon tokenlik bağlam vaadiyle yaklaşık 500 milyon dolar toplayan Magic.dev'in modelinin kamuya açık üretim ortamlarında görünür olmaması da emsal olarak öne çıkıyor. Subquadratic, dördüncü çeyrekte 50 milyon tokenlik bir modeli hedeflediğini ve ağırlıkları açık kaynak olarak paylaşmayacağını, ancak kurumsal müşterilerin kendi verileriyle son ayar yapabileceğini belirtti.