词元（Token）十问

1.什么是Token？

Token是AI模型处理文本的最小计算单元。

它不等同于汉字或单词：“你好”可能是一个Token，“ChatGPT”可能拆成“Chat”和“GPT”两个Token。

标点符号也算Token。模型先把句子拆成Token，再逐个运算。

在这个运算过程，模型会通过查表将Token转为“向量”，即一个固定长度的浮点数数组，进行计算。

2.普通人如何估算Token数量？

粗略换算：1个汉字约等于1.5-2个Token，1个英文单词约1-2个Token。

不同模型分词方式略有差异，以官方文档为准。

日常使用中，一段200字的短问题+300字的回答，大约消耗1000-1500 Token。

3.AI的输入输出都消耗Token吗？

是的。

模型读懂你输入的问题，需要把输入内容拆成Token并计算，同样消耗Token资源。

模型帮你生成内容，也消耗Token资源。

最终你用模型的账单 = 输入Token数×输入单价 + 输出Token数×输出单价。

4.为什么智能体会消耗更多Token？

小龙虾（OpenClaw）等智能体会把你布置的一个简单问题拆成多轮“思考-行动-反馈”的循环。

每轮都要发起新请求（输入+输出），还要携带历史对话、工具（skill）返回结果等长上下文，甚至试错重试。

总Token量可能是单次问答的5-10倍。

5.调用Skills（工具）也耗Token吗？

会，而且通常更耗费。

调用Skills过程包括：模型输出调用指令（输出Token）→ 系统返回结果作为新输入（输入Token）→ 模型生成最终回答（输出Token）。

一次工具调用，三个环节都要消耗Token。

6.Token和算力什么关系？

Token数 × 模型参数量 ≈ 算力消耗。

因为，每个Token都要“过一遍”整个神经网络，1个Token对应一次完整计算。

所以算力成本 ∝ 参数量 × Token数。

7.Token的本质是什么？

Token是计算模型工作量的计量单位。

打个比方，如果知识是模型参数里的库存，思考是推理过程，那么Token就是用来对模型工作量进行记账的“工时单”——每处理一个词元（Token），记一次费。

8.Token经济的逻辑是什么？

把AI模型计算转化为类似水电煤的公用事业计价：

模型成本几乎正比于处理Token总数，所以按Token收费就是按成本收费。

不同模型单价不同（参数越大，单价越贵），但Token让开发者有了统一“计件”和计价的标准，形成了AI模型的盈利模式。

9.输出Token比输入Token更贵吗？

许多模型的输出单价略高于输入，因为生成每个输出Token时，模型需要做自回归计算（依赖之前所有Token），无法完全并行。但两者计算量在同一量级。

10.按Token计费会激励模型故意啰嗦吗？

理论上存在这种激励，但现实中被竞争和设计避免了：

用户会跑向更简洁的模型；模型训练（RLHF）时，啰嗦的回答会被打低分；模型本身并没有“赚钱意识”。

市场最终奖励效率高的模型。

总之，Token是AI世界里的“燃油”，每一滴（每一次计算）都按量计价，驱动着模型的理解与生成。