Context Window
The model's working memory — from 2K tokens to millions in five years.
Anda sedang melihat entri penjelas konsep: apa arti istilah ini dalam bahasa yang mudah dipahami, dan entri-entri yang dikaitkannya.
The context window is how much a model can consider at once. GPT-3 held 2K tokens; Gemini holds a million; long-context serving is why the KV cache (the stored state for every token in context) dominates inference memory and why chips like Rubin CPX exist just for the 'prefill' of huge contexts. Long context competes with retrieval (RAG) as the way to give models knowledge.
Bagaimana ini terhubung ke bagian lain dari stack
Tautan catatan ini sekilas — klik grup untuk langsung menuju ke sana.
Sumber
Rekaman ditinjau per 2026-01-15 — lihat Metodologi.