Tokens & Tokenization
Conceito
Técnico Central
The unit AI is bought, sold and measured in.
Está a ver um explicador de conceito: o que este termo significa em linguagem acessível, e os registos que relaciona.
Models read and write tokens — word fragments, roughly ¾ of an English word each. Context windows, API prices, throughput benchmarks and 'tokens per second' hardware claims all count them. When executives describe data centers as 'token factories,' this is the commodity they mean: the entire economics of inference reduces to the cost of producing a token.
Como este elemento se liga ao resto da stack
As ligações deste registo num relance — clique num grupo para ir diretamente até ele.
Relacionados
Fontes
Registro revisado em 2026-01-15 — ver Metodologia.