阅读,与值得关注的内容Readance

2026年文档多模态OCR技术趋势如何?3个判断及FastMTP思路

今天是2026年9月18日,星期五,北京,天气晴。

文档解析的这个方向,很久没谈了,现在来看看,虽然这块在2025年已经做烂了。

当前2026年的文档解析OCR的趋势"小而美+端到端+用强化学习喂质量"成了主旋律。

所以,可以看看2026年的文档解析ocr趋势分析,然后看看FastMTP加速:Jina-OCR-v1的思路。

一、2026年的文档解析ocr趋势分析

整个文档解析路线呈现出范式变化,分成这三代:

三代之下,看现在2026年的节点,有几个突出特征:

1、三个突出特征

其一,视觉token极压缩:"光学压缩"成了新卖点。

2018的ViT一路到Qwen2.5-VL家族,每页要几千个视觉token,贵。2026年大家集体转向把整页视觉信息压成极少量token。例如:

DeepSeek-OCR首创"上下文光学压缩":用1024×1024的视图只产出256个视觉token,解码端却能据此输出比视觉token多10倍以上的文本tokenarxiv.org。它的迭代DeepSeek-OCR2换了第二代编码器DeepEncoderV2:把CLIP组件替换成一个小型语言模型,并引入"因果流查询"(causalflowtokens),可学习的查询token像人眼一样按语义动态重组视觉信息blog.csdn.net。代价是公式解析+6.17%、表格+2.5~3%、文本编辑距离降0.025,同时保持16倍视觉token压缩率hub.baai.ac.cn。

又如Jina-OCR-v1直接复用DeepSeek-OCR的编码器,把每token像素做到约4096。

其二,推理加速成为显学:多token预测+投机解码被卷到这个领域。

OCR输出长、又高度可预测,成了投机解码的"肥肉"。2026年几乎每家都在解「生成长、解码慢」的问题。代表的:

FastMTP(共享单块递归草拟)、DFlash(HunyuanOCR-1.5用)、GLM-OCR的共享参数MTP,都在走"一个草稿块猜多个token、主模型批量验证"的路线;

其三,后训练全面转向"可验证奖励的强化学习"(RLVR)。

这是2026年最实质的质量来源。不再是纯SFT让模型背答案,而是用确定性可验证奖励+GRPO/DAPO让模型自己摸索更高分,看下代表工作:

一个是奖励信号用确定性代码打分:表格用TEDS、公式用CDM、再加结构完整性(括号是否闭合、标签是否闭合、表格是否完整),不需要奖励模型或judge;

具体的,又LightOnOCR和olmOCR用unit-test式评估+GRPO;Infinity-Parser2一次co-train八个任务;Jina-OCR-v1用五维乘积奖励(内容、结构、单元测试、重复、格式)给部分分,并特意合成公式/表格密集页喂奖励。

2、三个判断

同样的,有三个判断,也可以做个思考:

判断一:下一个瓶颈不在"看",在"结构推理" 。阅读顺序、多栏、跨行表格,这些"看不见但要想"的结构问题,正是今年分数的洼地(所有模型在reading-order、OldScans上都难看),而且结构恰恰是规则奖励最难表达的(什么叫"阅读顺序对",你很难写成确定性检查)。2027会需要新的监督信号,很可能是强标注的"结构对比合成对"+判别性结构判官。

判断二:从"全局压token"转向"按内容动态分配token" 。全局256token把细节全丢光了。往下走会是全局粗看+局部按需高分辨率:先低精度分栏定结构,再对公式、数字区、小字区动态放大并加token。这是视频编码"人眼敏感区给高码率"的行星级分配逻辑,搬到视觉token上。Deep Encoder V2的causal flowtokens已经是这个方向的苗头。

判断三:会有一次"可验证奖励范式"的事故或反噬 。RLVR太容易被榜单绑架。当几家都靠合成数据喂专项奖励刷分时,模型在真实世界的样张上会集体露馅(奖项能打分的和真实需求开始背离)。其实关于"OCRbenchmark与真实文档错位"的公开争论一直有,就像当年ROUGE被诟病那样。真正确立地位的,会是"保真度追踪+失真优先级预算"这类评估,而不是一个总分。

二、FastMTP加速:Jina-OCR-v1的思路

JinaAI发布的Jina-OCR-v1,一个面向低预算GPU的端到端文档解析模型,工作在《Jina-OCR-v1: Efficient Document Parsing with Speculative Decoding and DenseVerifiable Rewards》(https://arxiv.org/pdf/2609.03181)

从技术实现上看,同时干预文档解析成本的两个独立源头。

一个是视觉token冗余(DeepSeek-OCR继承的)。4096个patch压缩成256个token,每个token代表~4096像素。这是感知侧的压缩,决定每页要喂多少token进模型。

一个是解码步数冗余(FastMTP干的)。自回归每步只出一个token,而OCR输出本地高度可预测。这是生成侧的压缩,决定同样的内容要跑多少步。

因此,其做的事情是一张1024×1024的页,综合下来约1,156个视觉token,输出Markdown又长。

感知压缩能压token数,但救不了输出侧的自回归步数,所以此前的DeepSeek-OCR即便视觉很省,吞吐仍被生成长度锁死,FastMTP就是冲着第二个瓶颈去的。

因此问题来了,重点就是FastMTP,展开看:

1、FastMTP何为?

FastMTP,全称Fast Multi-Token Prediction,本质是投机解码(speculative decoding)的一种实现,专门解决一个痛点:自回归解码每步只能冒出一个token,生成第t+1个token,必须等前面t个都生成完。OCR输出虽然有几百上千个token,但每个token高度可预测(一个词后面跟什么、Markdown里表格行怎么排,几乎确定)。所以,FastMTP的出发点就是既然能猜,那就先猜K个候选,再用主模型一次性并行验证,验证对了就直接跳K步,不用每步都等主模型跑一次。

这就是投机解码。而猜就是草拟(draft)。问题来了:用谁来猜?

FastMTP在"怎么猜"上的选择上,历史上草拟模型有好几代,区别就在"草稿头"有几个:

FastMTP的核心设计很朴素:只放一个草稿块B_θ,做第1轮草拟用一次,第2轮把第1轮的输出状态再喂回同一个块用一次,第3轮同理。图里三个标着"同一个块"的框其实是同一个参数的块在时间上被调用了三次,不是三个不同的头。

用单个共享块递归草拟K个token,靠状态移位对齐让训练和推理行为一致,靠贪心验证保证无损。

2、一个具体例子?

这个举个例子来看:

解析一页里的一个表格行,假设模型正在解析一个财报表格,输出是Markdown,当前已经生成了这一行:

也就是已生成的token序列是:

现在卡在4后面,需要一个一个地继续冒token。

没有FastMTP(普通自回归)痛苦地一步一挪,要得到完整的第1行,主模型得依次生成:B→|→空格→N→|→Q2……

每"吐"一个token,主模型就要完整前向跑一次。算一下:这一行要跑十几次前向。但问题是,这里每一步几乎都是可以猜的:$1.24后面几乎肯定是货币单位B(million用M,billion用B),B后面几乎肯定是列分隔符|,|后面几乎肯定是空格。主模型每次都慢吞吞重新算一遍,纯属浪费。

加了FastMTP先"草拟",再一口气验证。FastMTP就是让那个共享草稿块来替主模型猜,主模型只用一次前向把猜的结果批量核验。走一遍:

第1步,草稿块猜3个候选:

第1轮:看到$1.24(这是金额),高概率猜B(记住:变元单位);

第2轮:把"猜了B"这个状态喂回来,继续猜|(金额结束必是列分隔符);

第3轮:再喂回来,猜空格(表格格式要求)

第2步,主模型(verifier)一次前向,三个位置同时验证:

三个全对→一次性提交B、|、空格这3个token,再白送1个bonustoken。

问题来了,这个省在哪:本来要3次主模型前向,现在1次草拟(草稿块很便宜)+1次主模型验证就搞定了3步。

然后,如果这三个里有一个错了呢?比如实际是$1.24K(单位是K不是B):

那就不碰这个候选,改用主模型自己的K,后面的候选全扔掉。输出的结果=主模型自己一步步生成的结果,一字不差,这就是"无损"的意思:加速了,但永远不会把结果搞错。

那"共享一个块"又省在哪? 上面第1轮、第2轮、第3轮用的是同一个草稿块(同一个B_θ),只是把上一层猜完的状态喂回给下一层。如果不用共享,像Medusa那样就得放3个独立的草稿头,猜的轮数越多,参数越多;而FastMTP猜3轮还是8轮,草稿参数都是一个块的量。

所以,FastMTP=让一个聪明的"小助手"代替主模型猜好几个token,主模型一次把答案全核验掉;猜对几分就跳几步,猜错的用主模型的正确答案顶上,结果一点不偏差。而"一个块猜好几轮",靠的是把上一轮的猜测状态喂回给同一块,所以它便宜(参数少)、还快(命中就跳步)。

不过,需要注意的是,虽然论文反复强调greedyverification是lossless的。但是无损≠更准,只是承诺"我加速后生成的结果,和你自己逐token贪心解码得到的结果一字不差"。这是一种等价性保证,不是质量提升。投机的价值纯粹在latency,不在accuracy。

参考文献

1、https://arxiv.org/pdf/2609.03181

关于我们

老刘,主页:https://liuhuanyong.github.io。

对知识图谱本体论、Agent记忆及架构、RAG知识库等技术方向感兴趣,欢迎加入社区,社区持续纳新。

加入社区方式:关注公众号,在后台菜单栏中点击会员社区加入。



前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →