Context Window
Concetto
Tecnico di base
The model's working memory — from 2K tokens to millions in five years.
Stai visualizzando una scheda concettuale: cosa significa questo termine in linguaggio chiaro, e i record che mette in relazione.
The context window is how much a model can consider at once. GPT-3 held 2K tokens; Gemini holds a million; long-context serving is why the KV cache (the stored state for every token in context) dominates inference memory and why chips like Rubin CPX exist just for the 'prefill' of huge contexts. Long context competes with retrieval (RAG) as the way to give models knowledge.
Come si collega al resto dello stack
I collegamenti di questa scheda a colpo d'occhio — clicca un gruppo per raggiungerlo.
Fonti
Record revisionato al 2026-01-15 — vedi Metodologia.