Tokens & Tokenization
概念
主要技術仕様
The unit AI is bought, sold and measured in.
これはコンセプト解説のレコードです。この用語をわかりやすく説明し、関連するレコードをまとめています。
Models read and write tokens — word fragments, roughly ¾ of an English word each. Context windows, API prices, throughput benchmarks and 'tokens per second' hardware claims all count them. When executives describe data centers as 'token factories,' this is the commodity they mean: the entire economics of inference reduces to the cost of producing a token.
スタック全体とのつながり
このレコードのリンク一覧 — グループをクリックするとジャンプします。
出典
レコードのレビュー時点： 2026-01-15 — 表示 調査手法.