科技通识|Token终于有中文名了!究竟是什么意思?

撰文︰晨希

  自从“养龙虾”火了之后,与之相关的一个关键词“Token”也逐渐走入大众视野,但它一直没有一个官方的中文译名。在中国发展高层论坛2026年年会上,Token的中文名也终于有了官方翻译:词元。那么,“Token”到底是什么意思呢?

  Token是大模型处理语言时使用的基本单位。它不是一整句话,也不是一个完整的词,更不等于字数。给AI输入指令时,人类看见的是一段完整的表达,但模型接收到的却是一连串被切开的信息。模型不会像人那样直接读懂一句话,而是要把语言拆分后转成数字,最后才能继续计算。

  在AI世界里,无论是用户的提问,还是AI生成的一段代码,最终都要被拆解成token来运算。模型处理语言的时候,并不会先理解语言的意义,而是先处理“单位”。这就是为什么词元是大模型世界里面最基础、也最关键的那把尺子。

  简单来说,词元就像一块块小积木,AI通过学习数万亿个词元组成的“语料库”,掌握了将这些积木拼接成城堡(回答、文章、代码等)的规律。

  Token,听着像遥不可及的专业术语,但其实我们日常使用AI,每一次对话、每一个指令和回答,都是在与token打交道。例如,让AI解释勾股定理的定义,需要消耗几十个token,而让它用生活中的例子解释,再出三道练习题,就可能需要消耗数百个token了。

token语言处理
中国AI大模型周调用量连续三周超过美国。(网上图片)

  那么, 现在token的使用量有多大规模呢?背后又隐藏了怎样的增长密码呢?

  日均token调用量的大量增加,充分表明中国的人工智能发展进入了快速增长阶段,应用场景在不断深化。截至2026年3月,中国日均token的调用量已经超过了140万亿,相比2024年初的1,000亿增长了1,000多倍,相比2025年底的100万亿,在三个月内又增长了40%多。

  因此,token调用量就成为了衡量AI模型活跃度和产业价值的关键指标,token调用量越高意味着模型调用量越多,创造的实际价值就越大。

  在中国发展高层论坛2026年年会上,国家数据局局长刘烈宏表示,token“词元”不仅是智能时代的价值锚点,更是连接技术供给与商业需求的“结算单位”,为商业模式的落地提供了可量化的可能。

  Token中文名的权威定名不仅终结了长期以来学术界与产业界长期以来的争议,也标志著大模型技术标准语境在国家层面的进一步规范化。

  延伸阅读:一文看懂“养龙虾”OpenClaw热潮:AI从会聊天到会做事

机器人知多点|盘点人形机器人新技能:后空翻、骑车、做家务各显神通

科技通识|脑机接口是什么?“意念操控”不是梦?

智护万物|世界唯一现存野生马种 “普氏野马”重生记

科技通识|eVTOL是无人机吗?

科技通识|L3级自动驾驶 距离“真无人驾驶”还远吗?

我要回应

(可输入500字)

回应只代表会员个人观点,不代表当代中国立场

「中国种不了榴莲」魔咒被打破!国产榴莲「树上熟」 香甜饱满不输进口?

WeChat