Context Window
Conceito
Técnico Central
The model's working memory — from 2K tokens to millions in five years.
Está a ver um explicador de conceito: o que este termo significa em linguagem acessível, e os registos que relaciona.
The context window is how much a model can consider at once. GPT-3 held 2K tokens; Gemini holds a million; long-context serving is why the KV cache (the stored state for every token in context) dominates inference memory and why chips like Rubin CPX exist just for the 'prefill' of huge contexts. Long context competes with retrieval (RAG) as the way to give models knowledge.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.