Token（中文定名为“词元”）是人工智能时代，特别是大语言模型（LLM）中最核心的概念之一。它不仅是模型处理信息的最小单位，更是连接算力、数据与商业价值的“通用货币”。

为了让你透彻理解 Token，我将从技术本质、处理流程、经济价值、以及数据规模四个维度为你详解。

1. 技术本质：什么是 Token？

简单来说，Token 是大模型处理文本的最小信息单元。

计算机并不认识“字”或“词”，它只认识数字。为了让模型理解人类语言，我们需要把一段文本“切碎”成一个个小块，这些小块就是 Token。

• 它不是单纯的“字”或“词”：
  • 英文中：一个 Token 可能是一个单词（如 "Apple"），也可能是单词的一部分（如 "Trans" 和 "former" 组成了 "Transformer"），甚至可能包含标点符号或空格。
  • 中文中：一个 Token 可能是一个汉字（如“我”），也可能是一个常用的双字词（如“人工”、“智能”），或者是特定的短语。
• 数学表示：对于模型来说，Token 本质上是一个数字编号（ID）。模型通过计算这些数字编号之间的复杂关系（向量坐标）来“理解”语义。

2. 处理流程：文本是如何变成 Token 的？

这个过程由一个专门的模块——分词器来完成。它的工作流程如下：

1. 文本切分：当你输入“朋友买了西瓜手机！”时，分词器会将其拆解为 ["朋友", "买", "了", "西瓜", "手机", "！"] 等多个 Token。
2. 编号映射：分词器会在模型的“词表”中查找每个 Token 对应的数字 ID。
3. 向量转化：模型将这些 ID 转化为一组数字坐标（向量），通过计算坐标间的距离和关系，模型就能理解“西瓜手机”在这里指的是一个品牌，而不是水果。

注意：Token 的消耗不仅仅是你看到的文字。系统预设指令（System Prompt）、对话的历史上下文、以及模型内部的“思考过程”（推理步骤），都会被转化为 Token 进行计算。

3. 经济价值：Token 是 AI 时代的“新货币”

在商业层面，Token 已经成为了衡量 AI 成本和价值的核心指标，被称为“智能时代的计价单位”。

• 计费模式：就像电费按“千瓦时”计算、流量按“GB”计算一样，AI 服务通常按 Token 的数量计费。
• 输入与输出：通常情况下，输出 Token（生成内容）比输入 Token（理解内容）更贵。因为生成内容需要模型进行复杂的计算和推理，消耗更多的算力资源。
• 价值锚点：英伟达 CEO 黄仁勋提出了“Token 经济学”，认为数据中心正在演变为生产 Token 的“AI 工厂”，Token 将成为继工资、奖金、期权之后的“第四种薪酬”。

4. 数据规模：Token 的爆发式增长

Token 的消耗量直接反映了 AI 应用的普及程度。根据最新的数据，这一数字正在呈指数级增长：

• 中国日均消耗量：
  • 2024年初：约 1000 亿。
  • 2025年底：跃升至 100 万亿。
  • 2026年3月：已突破 140 万亿。
  • 2026年4月：部分数据显示已达 180 万亿级别。
• 全球对比：2026年2月，中国大模型的 Token 调用量首次超过美国。

总结：Token 的多重身份

表格

理解 Token，就是理解大模型如何“看”世界，以及 AI 产业如何“算”价值。未来，核心竞争力可能不再是“谁能调用更多 Token”，而是“谁能更聪明地使用 Token”。