bevictor伟德官网-专家解读：token中文名为何定为“词元”—新闻—科学网

近日，天下科学技能名词核定委员会发布《关在发布试用人工智能范畴名词token中文名“词元”的通知布告》，决议于综合考量社会各界定见建议的基础上，优先保举“词元”作为人工智能范畴名词token的中文名，并面向全社会发布试用。

“词元”这必然名切合单义性、科学性、简明性、协调性等科技名词核定原则，该命名经天下计较机科学技能名词核定委员会核定后，由天下科学技能名词核定委员会核准向全社会发布试用。

清华年夜学计较机系副传授东昱晓认为，“词元”的命名捕获了其于人工智能语言模子中作为“基本离散符号单位”的素质，又可以经由过程类比天然延长最多模态范畴。于“词元”这必然名中，“词”点明其于语言场景下的泉源，表现出token与表达对于象语义的紧密亲密联系关系；“元” 转达出“基本单位”之意，与 “元素”等术语中的“元”连结一致的语义脉络。

“token”一词源在古英语tācen，意为“符号”或者“标志”。于语言模子中，token是文本颠末切分或者字节级编码后获得的最小离散单位。它既多是人类语言意义上的词串、单个词，也多是词根、词缀、子词或者单个字符。语言模子经由过程对于token序列建模，揭示出必然的智能程度。

天下计较机科学技能名词核定委员会副主任委员兼人工智能分委员会主任委员、中国科学院计较技能研究所研究员陈熙霖暗示，“词元”一词可以将“作为语言基本语义单位”这一最初素质清楚表达出来，更贴合其于人工智能中的初始脚色。

跟着年夜模子从纯文本走向多模态，“token”的所指已经经扩大。图象被切分为“图象块”并映照为嵌入序列，语音片断可以被量化编码为离散单位，这些单位于多模态模子中一样被称为token，重要建模手腕仍为序列模子。

此时，“词元”中的“词”于这里逾越了人类语言意义上的“词”，却能暗合术语定名中遍及存于的类比思维——将非文本模态的离散基本单位，也视作“广义的词”。这类用法与“词云”（word cloud）、“词袋”（bag of word）近似，虽由文本衍生，但已经成为人工智能范畴中表达更宽泛语义的通用术语。“词元”于跨模态场景中承载了“离散基本单位”的语义，这类语义遍及存于在所有模态之中。

于中文文献、技能文档和学术交流中，“词元”作为描写年夜模子中token的一个译名，逐渐被学术界许多学者所认同。token是模子将数据映照为离散符号序列的基本单元，自己其实不携带智能，只是承载信息的载体；它与“嵌入”“留意力”“隐状况”等术语并列时，连结了气势派头一致性；它切合中文“二字词”偏好，表述简便，易在流传。

来自国度数据局的数据显示，2024年头，中国日均词元（Token）挪用量为1000亿；至2025年末，跃升至100万亿；本年3月，已经冲破140万亿，两年增加超千倍。

据悉，该中订婚名将于计较机科学技能名词常态化核定事情中，联合社会推广运用环境终极确认。