AI21 Jamba
The production hybrid: Mamba state-space layers + transformer attention.
أنت تطّلع على سجل نموذج AI: من بناه، وما الذي يستطيع فعله، والأجهزة والبيانات التي تقف وراءه.
Jamba (2024–25) interleaves Mamba SSM blocks with attention to cut memory and speed long contexts — the most prominent deployed challenge to pure transformer orthodoxy, shipped as open models up to ~400B total parameters.
كيف يرتبط هذا ببقية المنظومة
روابط هذا السجل في لمحة — انقر على أي مجموعة للانتقال إليها.
طوّره
مبني على
المصادر
السجل مراجَع بتاريخ 2026-01-15 — عرض المنهجية.