promptgarden 🌱
🌍 DE
术语●○○3 分钟 · +20 XP

Token——为什么它们要花钱

Token 是 AI 处理文本的最小单位,你通常也是按它计费的。

什么是 token?

Token 是一小段文本——常常是一个词、一个音节,或一个标点符号。“猫”可能是一个 token,“不可思议”可能会被拆成两三段。LLM 读写的单位不是字母,而是 token。

经验法则

以英语等拼音文字为例,大约 4 个字符对应 1 个 token,一个单词通常是 1-2 个 token。中文等 CJK 文字的切分方式不同,但同样是按 token 计费——一段普通文字很快就会超过 100 个 token。

为什么这要花钱?

大多数 AI 服务商按 token 数量收费——“输入”(你发送的内容)和“输出”(AI 返回的内容)分开计价。上下文越多、prompt 越长、回答越长,token 就越多,花费也越高。所以把 prompt 写得精确、不塞进不必要的长文件,是值得的。

实际影响

如果你在用一个会读取整个文件的编码 agent,这会消耗大量 token。把一个上万行的文件“整个扔进去”可能既贵又慢——有针对性地只分享相关片段通常更好。

示例

“我爱编程!”这句话大约是 5-6 个 token,具体切分方式因分词器而异。

小测验

大多数 AI API 的费用主要取决于什么?

来源

相关主题

什么是 LLM? ●○○Context Window(上下文窗口) ●○○什么是 prompt? ●○○