AI科技评论公众号文章2026-10-14

前腾讯 AI Lab 总监史树明神级大作：新方法让 Token 压缩率飙升 60% | GAIR Paper 135

词表从250K涨到1M，BPE的token为何反而越来越“摸鱼”？

未分类

AI科技评论

公众号 · 93 篇文章

查看主页 →

词表从250K涨到1M，BPE的token为何反而越来越“摸鱼”？

编辑丨岑峰

当业界普遍认为 Tokenizer 已经走到头、只能修修补补时，前腾讯 AI Lab NLP 中心总监史树明用一篇新报告打破了这种僵局。在最新发布的技术报告《Counting and Min-Cost Encoding for Tokenization in Large Language Models》中，他提供了一种堪称“优雅降维”的新解法，刀刀见血，毫无冗笔。

分词器作为大模型的“语言门户”，直接锚定了模型的推理效率与信息密度。然而，经典 BPE（Byte Pair Encoding）算法固有的贪心策略与局部性瓶颈，导致词表越扩张越尴尬:空有百万规模，大半沦为闲置。

史树明提出的 CNF-MCE 框架，彻底颠覆了逐步合并的旧路，转向“先全局统计，再全局优化”：在 250K 词表下压缩率显著提升 26%–30%；在 1M 极大词表下，Token 效率跃升逾 60%，词表利用率更是从 52.9% 惊人地拉升至 96.9%。新词表的技术报告也进入到了ModelScope的本周热门论文列表：https://www.modelscope.cn/papers?page=1&type=hot

针对这一突破，前腾讯NLP&LLM专家研究员王琰给出了极高的同行评价：“史树明老师，一直是我梦想中想成为的人物。优雅的思路，不带 AI 痕迹的代码与论文，不带一丝冗余的算法。环境在变，人在变，舆论在变，但神从未下山。”

诚然，MCE 代价函数的泛化理论边界、超大词表工程落地时的算力与内存开销，仍需经受产业级基准的进一步淬炼。但这篇工作指明的方向已无比明确：大模型的分词底层，绝无必要被终身困在“局部贪心合并”的旧框架里。

AI科技评论特邀史树明老师，对这篇技术报告的核心思想与设计哲学做深度拆解。以下为解读全文：

分词器（Tokenizer）一直是大模型中一个低调却至关重要的组件，它决定了文本如何被切分成token，而token序列的长度直接影响推理成本和速度。长期以来，BPE（Byte-Pair Encoding，字节对编码）几乎垄断了这一领域，它背后的词表构建和分词逻辑都是“自底向上、逐步合并”。

但BPE有一个根本性的局限：它是贪心的、局部的。每一步只考虑当前最高频的相邻字节对，不关心全局最优，也不允许Token跨越预分词边界。这意味着，无论词表多大，总有一些高频短语（如“the United States”）被切得支离破碎。

最近，一篇arXiv预印版论文《Counting and Min-Cost Encoding for Tokenization in Large Language Models》提出了一套完全不同的思路：先统计，再全局优化。他们提出的CNF-MCE框架在250K词表下将英文网页文本的压缩率提升了26%到30%，在将词表规模扩展到1M规模时token效率提升超过60%，词表利用率从BPE的52.9%跃升至96.9%。

descript

BPE分词器的问题

要理解这项工作的意义，先看BPE是怎么工作的。BPE词表构建算法的基本原理是从单个字符开始，反复扫描语料，找到频率最高的相邻符号对，将它们合并为新token，最终产出的词表除了包含从token text到ID的映射外，还包含token合并信息，即每个token是由哪两个token合并而成的。BPE文本切分算法过程类似，是基于词表中的token合并信息不断合并相邻token的过程。这种方式面临几个问题：

Token效率瓶颈：为了效果与效率，BPE通常先做预分词（pretokenization），按空格和标点把文本切成“词”，然后合并只在词内部进行。这就堵死了一条重要的压缩路径：跨词的多词token（multiword tokens）。虽然一些工作尝试放宽这一限制，但它们仍然依赖有序合并操作，本质上还是在BPE的框架内打补丁。
Token合并信息影响词表优化操作：首先，有些token在合并路径上，但是在最终的文本编码中使用率很低，面临训练不充分的风险，影响模型效果；其次，词表合并等操作因token合并信息的存在变得复杂，比如参与合并的两个词表中某个token的合并路径不同，如何取舍。
非全局最优：BPE的文本编码算法本质上是“贪心”的，不能从全局角度给出最优的编码结果或最短的token序列。比如用BPE算法基于千问3.8的词表对 " pysimplesoap" 进行切分，结果是 " pys|imp|les|o|ap"，而实际上存在更短也更符合语义的切分 " py|simple|soap"。

CNF-MCE的作者选择了一条完全不同的路：不做顺序合并，直接统计所有有效子串的出现频率，然后用全局最优的方式切分文本。

descript

词表构建算法CNF：

从“怎么合并”到“什么值得统计”

CNF（Counting and Filtering）的核心洞察是：与其问“该合并哪两个Token”，不如问“语料中哪些子串真正有价值”。

具体来说，CNF分两步走：

第一步，计数构建原始词表 (Counting)。算法从训练语料中提取所有“合法候选Token”，统计它们的出现次数，取最高频的若干构成原始词表。CNF允许跨词子串成为候选，但设置了边界有效性规则。例如在句子“1600 B.C. was a significant year”中，“␣significant␣year”是合法候选（从词边界开始、跨词），但“ficant␣year”不合法（从一个词的中间开始）。为了支持从大规模语料中训练词表，CNF还设计了一套高效的多轮计数算法：按长度区间分批处理短候选优先，用字节trie存储历史频率并设置阈值提前终止，大幅降低了穷举统计的开销。

第二步，过滤 (Filtering)。原始词表包含大量“统计上高频但实际切分时用不上”的候选。CNF用MCE算法对训练语料做一次完整切分，统计每个Token的实际使用频率，剔除那些很少被用到的词。这一步把“候选频率”和“使用价值”区分开来。一个子串可能在文本中出现很多次，但在全局最优切分中并不被选中——因为它被更长的Token“覆盖”了。

文本切分算法MCE：

把分词变成全局优化问题

MCE（Min-Cost Encoding）是配套的编码算法。传统的BPE编码是确定性的：按合并列表顺序贪婪匹配，给一个文本，切分结果是唯一的。MCE则把分词定义为一个代价最小化问题：给定词表，寻找使总编码代价最小的切分方案，用动态规划算法来高效地求全局最优解。

编码代价函数由三项组成：单位token代价1、边界惩罚 p(i,j)、可选的token偏好代价ε(t)。这三项分别对应“用多少Token”、“跨不跨词边界”以及“偏好什么token”。

MCE有一个重要的特性：不依赖合并列表，也不依赖token概率。这意味着它几乎可以作用于任何词表——BPE构建的、UnigramLM构建的、或者CNF自己构建的。这种通用性让MCE可以作为一个独立的编码算法，与不同的词表构建方法解耦。

descript

实验数据：不只是“更好一点”

论文在六个文本类别上做了系统评测，实验设计分为两个层面：同等词表规模下的分词器对比，以及词表规模扩展时的行为分析。

▎250K词表：与BPE的直接对比

在250K词表规模下，论文将CNF-MCE与OpenAI的o200k_base和Qwen的qwen250k进行了直接对比。这是“同等词表大小、不同词表构建和分词方法”的公平较量，结果显示新的分词器在处理英文网页文本时，相比o200k_base压缩率提升26%，相比qwen250压缩率提升30%。这个层面的实验回答的问题是：在词表规模相同的前提下，新词表比BPE好多少？答案是显著更好，且这一优势在六个文本类别中保持一致趋势，而非仅限英文网页文本的偶然现象。

▎1M词表：相对BPE基线的scaling优势

1M词表的实验同样是与BPE分词器的对比，论文关注的是：当词表规模扩大到1M时，CNF-MCE相对于BPE基线的优势是扩大还是缩小？

结果有两个关键数字：

Token效率提升超过60%：这是在1M词表规模下，CNF-MCE相对于BPE分词器的提升幅度。对比250K词表下26%到30%的提升，可以看到CNF-MCE的优势随词表规模扩大而显著放大。
词表利用率从52.9%提升到96.9%：52.9%是BPE分词器在1M词表下的典型表现，96.9%是CNF-MCE在1M词表下的表现。BPE分词器在大词表下往往面临“词表膨胀但大半闲置”的尴尬——很多Token因为合并顺序的问题或过于生僻从未被编码器选中，而CNF-MCE的“基于token的实际使用频次进行过滤”的机制让几乎每一个token都在实际编码中发挥作用。

这个层面的实验回答的问题是：词表规模扩大时，CNF-MCE能否持续从更大的词表中获益，还是像BPE一样遭遇利用率瓶颈？答案是前者——不仅绝对压缩率更高，而且相对于BPE的领先幅度还在扩大。

▎下游任务验证

在1.8B和8B参数规模上从头训练语言模型，CNF-MCE在11个基准测试中的平均表现与BPE分词器相当，说明token效率的提升没有以牺牲下游能力为代价。

这意味着什么？

如果这项工作的结论在大规模模型上得到进一步验证，其影响是多方面的。

推理效率和成本：固定模型架构下，token序列越短，推理时间和成本越低。25%以上的token效率提升意味着同等算力下可以处理更长的上下文，或同样的输入输出情况下延时和成本可以降低25%以上。
分词器设计的范式转移：BPE的统治地位部分源于其简单性和工程成熟度，而非理论最优性。CNF-MCE展示了一条不同的路径：用统计构建候选空间，用全局优化选择切分。如果这项工作的在大规模模型上得到进一步验证，可能启发更多脱离BPE框架的探索。

当然，挑战同样存在。MCE的代价函数的设计是否有足够的理论依据？1M词表的推理效率在实际部署中表现如何？这些问题需要后续研究来回答。但方向已经清晰：分词器不必永远困在“逐步合并”的范式里。

为了方便大家抱团交流、互通会议消息，我们专门建了 IROS 2026 参会交流群！进群你会解锁这些「福利」👇

会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。
同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。
前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。
现场后援团：（会议期间专属开启）：到了会场也不用慌——
路线导航：场馆分布、报告厅怎么走，群里随时问；
议题共读：热门 session、Keynote 探讨，错过也能追；
Poster 汇编：现场海报精华整理，一键收藏不遗漏；
约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。