术语●○○3 分钟 · +20 XP
Token——为什么它们要花钱
Token 是 AI 处理文本的最小单位,你通常也是按它计费的。
什么是 token?
Token 是一小段文本——常常是一个词、一个音节,或一个标点符号。“猫”可能是一个 token,“不可思议”可能会被拆成两三段。LLM 读写的单位不是字母,而是 token。
经验法则
以英语等拼音文字为例,大约 4 个字符对应 1 个 token,一个单词通常是 1-2 个 token。中文等 CJK 文字的切分方式不同,但同样是按 token 计费——一段普通文字很快就会超过 100 个 token。
为什么这要花钱?
大多数 AI 服务商按 token 数量收费——“输入”(你发送的内容)和“输出”(AI 返回的内容)分开计价。上下文越多、prompt 越长、回答越长,token 就越多,花费也越高。所以把 prompt 写得精确、不塞进不必要的长文件,是值得的。
实际影响
如果你在用一个会读取整个文件的编码 agent,这会消耗大量 token。把一个上万行的文件“整个扔进去”可能既贵又慢——有针对性地只分享相关片段通常更好。
示例
“我爱编程!”这句话大约是 5-6 个 token,具体切分方式因分词器而异。
小测验
大多数 AI API 的费用主要取决于什么?
来源
- 维基百科:词元化 ↗ zh.wikipedia.org
- Anthropic 文档:Token 计数 ↗ docs.anthropic.com
- OpenAI Cookbook:用 tiktoken 计算 token 数量 ↗ cookbook.openai.com