Tokens & Tokenization
개념
핵심 기술
The unit AI is bought, sold and measured in.
현재 보고 계신 것은 개념 설명 레코드입니다: 이 용어의 의미를 쉬운 말로 풀어쓰고, 연관된 레코드들을 연결합니다.
Models read and write tokens — word fragments, roughly ¾ of an English word each. Context windows, API prices, throughput benchmarks and 'tokens per second' hardware claims all count them. When executives describe data centers as 'token factories,' this is the commodity they mean: the entire economics of inference reduces to the cost of producing a token.
전체 스택에서의 연결 구조
이 레코드의 링크를 한눈에 확인하세요 — 그룹을 클릭하면 해당 위치로 이동합니다.
출처
검토 기준일 2026-01-15 — 보기 방법론.