大模型

百度开源“不会累”的OCR:300页一次读完,显存仅需1.77 GB

三百页扫描版 PDF,过去只能一页页喂给模型。百度开源的Unlimited-OCR 2 一次读完,显存1.77GB,上百页解析77.06分、第二名只有33.74。附原理图与上手代码。

百度开源“不会累”的OCR:300页一次读完,显存仅需1.77 GB

你一定遇到过这种时刻:手上有一本三百页的扫描版 PDF——招股书、设备说明书、九几年的老教材——想把它变成 Markdown,好丢进知识库或者喂给 AI。

现在的通行做法是:拆成三百张图,一页一页喂给模型,再把结果拼起来。跑是能跑,麻烦都在接缝处:跨页的表格被切成两半,第 137 页末尾的半句话和第 138 页开头的半句话接不上,页码、页眉、页脚到处乱飞。更要命的是,模型每翻一页就把上一页忘得干干净净。

2026 年 10 月 27 日,百度开源了 Unlimited-OCR 2,想干的事情很直接:别一页一页读了,整本一次读完。

先看三个数字,感受一下它和现有方案的距离:

指标 Unlimited-OCR 2 对照
MPDocBench(几十页) 84.59 Qwen3.8-Max 78.30
MarathonDocBench(100–300 页) 77.06 Kimi-K3 33.74
300 页峰值显存 1.77 GB 47.00 GB(整本预填充)
300 页每步解码 几乎不随页数增长 全注意力随页数线性变慢

同一张卡上,三百页文档的峰值 KV Cache 从 47.00 GB 压到 1.77 GB,吞吐从 360 TPS 提到 1,315 TPS。

这不是把上下文窗口简单堆大。它换了一套注意力机制。


一、先搞清楚:OCR 走到第几代了

图片 1

OCR 1.0 是流水线。 先用版面检测模型把一页切成块,再派文字识别、表格识别、公式识别几个模型分别处理,最后用一套规则拼成 Markdown。模块多、串行长,前一步错了后面全错。

OCR 2.0 是端到端。 一个视觉语言模型(VLM)把整页图吃进去,直接吐出 Markdown。中间模块没了,误差不再累积,单页精度大幅提升。

但 2.0 有个天花板:它的记忆只有一页。 想处理多页文档,只能在外面套一个 for 循环,翻一页、清空、重来。于是第 1 页和第 300 页互不相识,跨页结构必然断裂。

Unlimited-OCR 1.0(今年 6 月)往前迈了一步。 它改了解码器的注意力,让模型能一口气读完几十页——代价是上限卡在 40 页左右。

Unlimited-OCR 2 想迈的是第二步。 不设页数上限,三百页也是一次前向。

那为什么”读长”这件事这么难?


二、长文档的三笔账

把一本三百页的书喂给模型,有三笔账同时往上涨。

第一笔:KV Cache 越存越多。 大模型生成每个字时,都要回头看前面所有 token 的 key 和 value。这些 key/value 必须缓存着,不能重算。写第 10 万个字时,缓存里躺着 10 万份 key/value。

第二笔:注意力越算越慢。 每生成一个 token,都要拿它和前面所有 token 做一次相似度计算。序列翻倍,计算量翻四倍。这是 Transformer 的老毛病。

第三笔:视觉冗余越来越严重。 这一笔最容易被忽略。当模型正在抄第 250 页时,第 3 页的那些像素对它毫无用处——但标准的全注意力仍然要求它把第 3 页的每个视觉 token 都算一遍。

按官方配置,一页 1024 见方的扫描件会被压成 273 个视觉 token。三百页就是 81,900 个。模型每写一个字,都要和这八万多个 token 逐一打交道。

图片 2

上一代的 R-SWA(参考滑动窗口注意力)解决了第一笔账的一半:它把文字记忆压缩成固定 128 个 token 的滑动窗口,写第 10 万字时也只往回看最近 128 个字。但视觉记忆它没动——仍要把全书所有页的视觉 token 全部看一遍。

所以 R-SWA 的 KV Cache 不随”写了多少字”增长,却仍然随”读了多少页”增长。几十页没问题,三百页就撑不住了。

Unlimited-OCR 2 的想法来自一个特别日常的动作。


三、人抄书的时候,眼睛在看哪儿

想象你手工抄一本厚书。你不会一边抄一边把前面抄过的每一页都在脑子里过一遍,也不会每抄完一页就把整本书忘掉。你的视线基本上只落在三个地方:

  1. 正在抄的那一页;

  2. 刚刚写下的几个字(保证句子连得上);

  3. 偶尔抬头翻一下前面某一页(因为这句话在引用它)。

论文把这种现象概括成一句话:多页文档的视觉依赖,本质上是”跨页稀疏、页内集中”的。

机器要模仿的,就是这个”看几眼”的动作。这就是 SR-SWA(Sparse Reference Sliding Window Attention,稀疏参考滑动窗口注意力)。

图片 3

它分两步走。

第 1 步:页面门(Page Gate)——先把范围缩小到”几页”

模型把整本书的视觉 token 切成固定大小的块,每块 32 个 token。当一个 query 准备生成文字时,页面门先判断:这个 query 属于第几页?只保留和这一页(及其相邻页)相交的那些块,其余的直接不看。

块边界和页边界不一定对齐,所以一个块可能同时压在两页上。规则很简单:只要它和当前页有交集,就算候选。

这里还藏着一个很工程化的细节——位置编码怎么办?

模型本来用二维坐标(行、列)描述每个 token 在页面上的位置。可一旦页数涨到三百,如果还按”整本书第 82,000 个 token”来编号,位置数值会一路涨到训练时没见过的量级,模型直接懵。

页面门的做法是把位置拆成两层:一个是页号,用 0、1 交替的有限编码;另一个是页内坐标,照旧用二维行列。这样一来,无论第 1 页还是第 300 页,位置编码的取值空间都是同一套,长度外推自然就稳了。

第 2 步:令牌筛(Token Sieve)——从候选里挑 16 块

候选范围缩小后,还要再挑。每个候选块会被压成一个 128 维的”摘要 key”,然后和当前 query 算一个相关度分数。

接着用 α-entmax 把这个分数变成稀疏分布——entmax 的特点是能输出精确的 0,不像 softmax 那样每个位置都给一点概率。再取分数最高的 16 个块。

被选中的块数量是固定的:16 块 × 32 token = 512 个远程 token。加上永远保留的局部窗口 128 个 token,每个 query 实际要看的东西固定在 640 个——不管文档是 10 页还是 300 页。

一个容易被忽略的设计

传统的稀疏注意力(比如 DeepSeek-V3.2 那类做法)通常要用一个”稠密注意力教师”去蒸馏路由网络:先让全注意力算出正确答案,再教稀疏版本模仿它该看哪几块。这种做法绕了一道,路由器和语言模型的目标并不直接对齐。

SR-SWA 把路由分数直接当成注意力分数的一部分:被选中的块,除了正常的 q·k 点积,还会额外加上一个由路由概率换算来的偏置项。这个偏置会参与 softmax,也就意味着——语言模型的梯度可以直接传回路由器。

结果就是:路由器不需要额外的蒸馏损失,跟着主任务一起训就行。

还有个小细节值得一提:路由分数在加进 logits 之前,会先减去被选中块的均值,做一次中心化。这样做是为了保住块与块之间的相对偏好——本来排第 3 的块,不会因为整体加了个偏置就掉到第 15。


四、整个模型长什么样

图片 4

骨架沿用 DeepSeek-OCR 那一套,两段式:

前半段是视觉编码器 DeepEncoder,由百度自研。它把两种视觉模型串起来用:

  • 先是 SAM-ViT-B,12 层,用窗口注意力。窗口注意力的好处是开销跟分辨率线性相关,处理 1024×1024 的原始像素不心疼;

  • 中间做一次 16 倍 token 压缩;

  • 然后是 CLIP-L/14,24 层,用全局注意力。此时 token 数已经很少了,全局注意力才付得起这个代价。

这个”先便宜地看细节,压缩后再全局地看结构”的组合,是 DeepEncoder 能在低显存下处理高分辨率页面的关键。一页 1024 见方的扫描件,出来只有 273 个 token。

后半段是解码器:12 层 MoE,64 个路由专家 + 2 个共享专家,每个 token 只激活 6 个专家。总参数 3B,实际激活约 0.57B。每一层的注意力都换成了 SR-SWA。

视觉 token 有个特殊待遇:它们只在预填充阶段编码一次,整个解码过程不再更新。 这一条很重要——正因为视觉部分是静态的,才有可能对它做”跳页”和”分块驻留”。

训练方面,数据是 2M 多页文档 + 10M 单页文档,伪标签来自 MinerU2.5-Pro 和 PaddleOCR-VL-v1.6,再用合成数据补充版式多样性,最后用 MinerU-Popo 做跨页结构的一致性校正。

训练规模:25 台 8 卡 H800,全局 batch 1,600,最大序列长度 64K,只训 1 个 epoch。视觉编码器和投影层全部冻结,只优化 LLM 部分,学习率 2.5e-4,AdamW + 余弦衰减,用 MS-Swift 框架。

只训 1 个 epoch、还冻结编码器,说明这套架构的改造是”轻量后训练”,不是从头重训。这对想复现的团队是个好消息。


五、注意力省了,显存还在涨,怎么办

注意力预算固定到 640 之后,新问题冒出来:三百页的视觉 KV 还是得存着。

哪怕每次只用 640 个,你也得先把三百页全部预填充(prefill)一遍——三百页 × 273 token 的 KV 摆在显存里,这就是那 47 GB 的来源。

论文给的解法叫 Unlimited-Horizon Decoding(无限视野解码),说白了就是把书拆成几段读,但在边界页上留个书签。

图片 5

具体做法:把文档按 10 页一段切块,相邻两块共享一个边界页。

  • 读第一段(第 1–10 页),生成这十页的内容;

  • 读完第一段,除了第 10 页的 KV,其余全部释放;

  • 读第二段(第 10–19 页),第 10 页的 KV 直接复用,不用重算——这就是”跨段连续性”的保证;

  • 再往下,重复。

于是 GPU 里永远只驻留一个块,显存占用和文档总长度解耦。

效果:单序列推理峰值 KV Cache 从 47.00 GB 降到 1.77 GB,降了 26.6 倍;B=16 并发下吞吐从 360 TPS 涨到 1,315 TPS,涨了 3.6 倍。

代码层面上,这套逻辑被集成进了 SGLang,通过几个环境变量控制:SGLANG_UOCR_DOC_GUNDAM_PAGE_WINDOW 控制每段多少页,SGLANG_UOCR_EANABLE_DOC_LIMIT=0 则退回”整本一个窗口”的模式。

论文自己点出了一个权衡:段切得越小,显存越省,但跨页合并的质量越差——因为跨段边界的表格块会失去上下文。这个参数不是越小越好。


六、成绩单

先交代这两份考卷。它们本身不是指标,是指标算出来的地方。

MPDocBench 是外部团队建的公开基准,几十页量级——中位只有 6 页,跨页结构也不算多,含跨页表格的文档只占 11%。MarathonDocBench 是这次新建的,100 篇文档、103–300 页、20.5 万个标注版式元素。真正拉开难度的是跨页结构的密度:每篇文档平均有 36.3 处文字被翻页切断(老基准 3.2 处,11 倍),平均 13.2 张表格横跨两页(老基准 0.23 张,57 倍),含跨页表格的文档占到 82%。

分数怎么算:文字内容和阅读顺序,跟人工标注比编辑距离相似度;表格结构用 TEDS;公式用 CDM;图区用 F1;再单独加两项跨页指标 T-TextEdit 和 T-TEDS,专门看被翻页切断的内容有没有接上;最后加权汇总成一个 Overall 总分。下面说的 84.59、77.06 都是 Overall,越高越好。

图片 6

几十页这一档,MPDocBench 综合分 84.59,比 1.0 的 61.89 高了 22.7 分,比 Qwen3.8-Max 高 6.3 分。细分指标里最亮的是标题层级(Heading TEDS 60.10 vs 48.80)和跨页表格(T-Table TEDS 89.54 vs 88.36)。

上百页这一档,MarathonDocBench 上它拿到 77.06 分,第二名 Kimi-K3 只有 33.74。这个差距说明一件事:现有模型不是”稍微差一点”,而是根本没建立上百页文档的解析能力。顺带一提,Unlimited-OCR 1.0 因为 40 页的输入上限,在这个榜单上直接没法参评。

单页能力没有退化。 OmniDocBench v1.6 上 94.02 分,和 1.0 的 93.92 基本持平。也就是说稀疏注意力没有牺牲细粒度识别——这一点比分数本身更重要,很多稀疏化方案就是死在这一步。

图片 7

效率曲线才是这个工作的核心卖点。 三百页时,每步解码延迟比全注意力快 7.0 倍,比上一代 R-SWA 快 5.6 倍;更要紧的是这条曲线是平的——页数从 2 涨到 300,每步延迟基本不动。

对比之下,主流 VLM 在长文档上的精度会一路下滑,论文 Figure 6a 里有一条基线在 223 页处直接跑挂。Unlimited-OCR 2 的精度曲线,从 30 页到 300 页几乎是一条直线。


七、它还不擅长什么

论文的 Limitation 部分写得很坦白,值得原样转述:

第一,它不保留全局文档信息。 稀疏注意力每次只看当前页和几个远程块,“整本书的标题层级是什么样”这类全局结构,它其实是推不出来的。所以 Heading TEDS 虽然比对手高,但绝对值只有 60 分左右。论文提出的后续方向是引入线性注意力来保留全局信息——用恒定的每 token 成本记住”整本书的骨架”。

第二,训练数据的多样性还不够,泛化性有提升空间。

第三,部署有门槛。 想跑出论文里的效率,需要用他们提供的定制 SGLang wheel(wheel/sglang-0.5.20.dev10+g8d62f5fb9c),而且要调一堆显存参数:mem-fraction-static 建议 0.7 而不是 0.75,max-prefill-tokens 从 4096 降到 2048 能砍掉一半峰值,SAM 注意力偏置的分块上限要从 512 调到 64 才能避免一次 462 MiB 的大分配。

这些都是实操坑,README 里写得很细,照抄基本能跑通。


八、怎么上手

模型权重(MIT 许可,可商用):

1.0 在 Hugging Face 上已经有 300 多万次下载、4,900 多个赞,还上过 Trendshift 日榜。2.0 是今天刚发的。

方式一:Transformers,适合快速验证

import torch
from transformers import AutoModel, AutoTokenizer

model_name = "baidu/Unlimited-OCR-2"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModel.from_pretrained(
    model_name, trust_remote_code=True,
    use_safetensors=True, torch_dtype=torch.bfloat16
).eval().cuda()

# 多页:按页码顺序传图,一次请求解析整份文档
pages = [f"your_doc/page_{i}.jpg" for i in range(1, 8)]
text, num_tokens = model.infer_multi(
    tokenizer, image_files=pages,
    output_path="output/multi", save_results=True
)

# 单页:默认开启动态切片(gundam 模式),细节更足
text = model.infer(tokenizer, image_file="your_doc/page_1.jpg",
                   output_path="output/single", save_results=True)

多页推理时,模型会自动拼出 "<PAGE><image>" * 页数 + "Multi page parsing." 这样的 prompt,输出里每页对应一个 <PAGE> 标记,顺序和输入一致。

方式二:SGLang,官方推荐的生产路径

需要 Python 3.10 环境,装定制 wheel 和 PyMuPDF:

uv venv --python 3.10
source .venv/bin/activate
uv pip install wheel/sglang-0.5.20.dev10+g8d62f5fb9c-py3-none-any.whl
uv pip install pymupdf==1.27.2.2 fastokens==0.3.2

启动服务(关键参数,其余见 README):

注意这个变量名:官方 README 里就拼成了 EANABLE(不是 ENABLE),照抄才能生效。

export SGLANG_UOCR_EANABLE_DOC_LIMIT=1        # 1=分块,0=整本一个窗口
export SGLANG_UOCR_DOC_GUNDAM_PAGE_WINDOW=10  # 每段页数,越小越省显存
export SGLANG_UOCR_MAX_PAGE_TOKENS=20000      # 单页输出上限
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True

python -m sglang.launch_server \
    --model-path baidu/Unlimited-OCR-2 \
    --served-model-name Unlimited-OCR-2 \
    --chat-template unlimited-ocr \
    --mem-fraction-static 0.7 \
    --max-prefill-tokens 2048 \
    --enable-custom-logit-processor \
    --enable-streaming-session \
    --host 0.0.0.0 --port 10000

然后按 OpenAI 兼容格式发请求即可。请求体里有三个参数要注意:

  • images_config.crop_mode:true 是 gundam 模式(动态切片,适合单页高精度),false 是 base 模式(整页一个视图,适合多页);

  • max_tokens:整份文档的总输出预算,必须为正;

  • custom_logit_processor 和 custom_params:这里塞的是那个 n-gram 去重复处理器(ngram_size=35),别漏掉,否则长文档容易出现重复循环。


九、这件事的意义

如果只看分数,这是一次很扎实的 SOTA 刷新。

但更值得记下来的是它的方法论:别急着把上下文窗口从 32K 堆到 1M,先想清楚”读长文档时,模型到底需要看什么”。

人类的答案很朴素:只看正在读的那一页,偶尔回头翻一两页。SR-SWA 就是把这个动作翻译成了注意力掩码——页面门决定”哪几页”,令牌筛决定”哪几块”,加起来 640 个 token,跟文档多长无关。

整篇论文里我最喜欢的一句话,是它引用网友的那句改编(原文仿《Fate》的咏唱):

像素是我的躯体,token 是我的血液。(以下为意译) 我已解析过一千页,不知 KV Cache 为何物,亦不知上下文上限为何物。 故我祈愿——Unlimited OCR Works。

玩笑归玩笑,技术上这件事是可推广的。论文明确说,R-SWA / SR-SWA 不只适用于 OCR:语音识别、机器翻译这类”输入是长参考、输出是长转录”的任务,本质结构完全一样——参考部分是静态的,输出部分是流式的。把参考部分做成可稀疏检索的固定预算,把输出部分做成滑动窗口,就能绕开二次方复杂度。

三百页一次读完,只是一个开始。


参考链接

本文数据均来自官方模型卡、技术报告与 GitHub 仓库;图 1–图 7 为作者依据论文内容绘制。

本文首发于微信公众号。原文:查看原文
微信搜一搜 AI拆解猿