AREX Feed Article
百度开源 Unlimited OCR 2：3.34B 参数、SR-SWA 稀疏注意力，瞄准数百页文档解析并自称 SOTA
百度于 10 月 27 日在官方 Hugging Face 组织仓库发布文档解析视觉语言模型 ：3.34B 参数，任务类型 image-text-to-text（图文输入、文本输出），权重精度 BF16。模型卡 Release note 标注的发布日期为 2026/10/27，页面更新时间同为 2026-10-27，仓库创建于 10 月 26 日（时间精度到日）。百度官方 X 账号同日上午发帖确认模型，核心变更是一个名为 Sparse Reference Sliding Window Attention（SR-SWA，稀疏参考滑窗注意力）的机制：把超长序列上的文本-视觉注意力交互压缩为一组固定大小的工作参考集——例如 512 个 token（词元）——让每步解码的延迟和显存占用几乎不随文档长度增长，在有限上下文窗口内实现 unlimited-horizon（无限视界）文档解析。
基准成绩随一起公布：在数十页级的 MPDocBench 与数百页级的 MarathonDocBench 上，Unlimited OCR 2 分别得 84.6 分和 77.1 分，图上标注对最强竞品的领先幅度为 +6.3 和 +43.3；上一代 Unlimited-OCR 在数百页基准上得分为 0。这些数字全部出自百度自报的图表，目前没有独立复核。
模型卡排行榜图：实色柱为 MPDocBench（图例标注 Dozens of Pages），斜纹柱为 MarathonDocBench（Hundreds of Pages）。（图源：）
时隔四个月的第二代：从「把 DeepSeek-OCR 再往前推一步」到 unlimited horizon
上一代模型的时间线都记录在同一张模型卡的 Release 列表里：Unlimited-OCR 1.0 于 2026 年 6 月 22 日发布，自述目标是「把 DeepSeek-OCR 再往前推一步」；6 月 23 日论文《Unlimited OCR Works》挂上 （编号 2606.23050），同日上架 ModelScope；6 月 28 日获 vLLM 社区推理支持；7 月 3 日上架百度智能云；7 月 21 日获得 ms-swift 训练框架支持。模型卡的致谢名单里写着 DeepSeek-OCR、DeepSeek-OCR-2、PaddleOCR 和 SGLang。
第二代把模型卡顶部的口号换成了「开创 OCR-3.0 时代：从长文档解析到无限视界解析」，代码仍在 。科技媒体 在拆解中列出：权重以 MIT 许可发布，BF16 格式约 6.7 GB，单张 NVIDIA A800-80GB 即可运行，最大位置长度 131,072 token——最后一项与仓库 config.json 里的 max_position_embeddings 一致。
SR-SWA 怎么工作：模型卡口径与 config.json 参数
按模型卡的说法，SR-SWA 为计算复杂度设置了上限：注意力交互不再随序列变长而膨胀，而是收敛到固定大小的工作参考集，每步解码的延迟与内存占用因此几乎恒定，注意力随文档增长的二次方扩展和内存瓶颈随之消除。补充了另一半机制：SR-SWA 与「Unlimited-Horizon Decoding」配合，把计算集中在最相关的视觉参考上，并释放不再需要的 KV cache（键值缓存）；据该帖数据，在 100 页文档上每步解码比 Full Attention（全量注意力）快 7.0 倍、比 R-SWA 快 5.6 倍，官方并称对多达 300 页的文档仍保持较强解析精度。这些都是百度单方口径。
配置层面可以核得更细。仓库 显示：稀疏注意力以 32 token 为一个块，本地滑动窗口保留 4 个块（sliding_window_size 为 128），在此之外按块做 top-16 选择，16 × 32 正好是 512 token，与模型卡「约 512 token 参考集」的举例吻合；每页图像固定编码为 273 个视觉 token（per_page_image_tokens）。MarkTechPost 据此算了一笔账：273 token 乘 100 页，仅图像输入就有 27,300 token。
架构上，MarkTechPost 对照 config 描述：视觉侧是 SAM ViT-B 加 CLIP-L 编码器，语言侧是 12 层 MoE（混合专家）解码器，每个 token 路由到 64 个专家中的 6 个、外加 2 个共享专家，并转述 DeepSeek-OCR 论文，称这套解码器为 DeepSeek3B-MoE-A570M。百度没有披露第二代的激活参数量。MarkTechPost 同时划出边界：图像编码耗时和总运行时间仍会随页数上升，SR-SWA 压平的只是每步解码的延迟与显存。
模型卡附图：左侧 R-SWA 在解码时让新 token 扫过全部已见视觉 token，右侧 SR-SWA 只挑选少数「活跃页」作为参考。（图源：）
换到数百页基准：Qwen3.8-Max 从 78.3 跌到 22.9
排行榜图一共画了 10 个模型，除两代 Unlimited-OCR 外全是外部模型。在 MPDocBench 上，Qwen3.8-Max 得 78.3、Qwen-3.8-Flash-Next 得 77.4、Gemini-3.8-Flash 得 76.2，紧跟着榜首；换成 MarathonDocBench，数字集体跳水——Qwen3.8-Max 跌到 22.9，Gemini-3.8-Flash 得 28.6，GLM-5.3-Flash 只得 7.5，上一代 Unlimited-OCR 得 0.0，非百度模型中最高的是 Kimi-K3 的 33.7。
子项分数同样写进了图里（MPDocBench / MarathonDocBench 两个口径）：文本 94.8 / 89.6，公式 89.4 / 87.9，阅读顺序 92.3 / 85.3，表格 87.8 / 74.8。MarkTechPost 提醒，MPDocBench 上的单项领先其实很薄：Qwen3.8-Max 的文本 94.3、公式 89.2，都贴着百度的数字。
两个基准的成色并不对称。MPDocBench 名称对应的公开基准，是 5 月 21 日发布的 ，由阿里巴巴通义实验室与中国科学技术大学的作者构建：433 份人工标注文档、3,246 页、覆盖 15 种中英文文档类型，评估文本、表格、公式识别，跨页截断文本与表格合并，图片提取、阅读顺序和标题层级恢复。MarkTechPost 解释百度 MPDocBench 成绩时链接的正是这份论文。MarathonDocBench 则是另一回事：MarkTechPost 写明「未能找到公开的 MarathonDocBench 发布」；这篇报道在 Google Scholar 检索该名称，也没有得到结果。
一次请求解析整本书：Transformers 直接跑，SGLang 得装定制 wheel
Transformers 路线面向快速测试：模型卡给出的 infer_multi 接口按页序把整份文档的所有页面放进一次请求，让模型用上跨页上下文，prompt（提示词）自动拼成 <PAGE><image> 乘以页数再加 Multi page parsing.，base 模式下每页编码为一个全局视图；单页 infer 默认走 gundam 动态切分。测试环境写明 Python 3.10、torch 2.13.0、transformers 4.52.1、NVIDIA A800-80GB。
生产环境的服务部署推荐走 SGLang，但装的不是上游版本，而是仓库自带的定制 wheel 安装包（sglang-0.5.20.dev10+g8d62f5fb9c）。超长文档启用页窗口调度：示例配置为每窗口 10 页，复用上一窗口遗留的 KV cache 尾部；每页输出上限设为 20,000 token。模型卡里的调参提示相当具体：SAM attention bias 的分块上限默认 512，会引发一笔约 462 MiB 的单次分配、可能直接 OOM（显存耗尽），改成 64 结果等效、峰值更低；--mem-fraction-static 取 0.75 时 32 路以上并发余量吃紧，0.7 才稳；页窗口调小能压低峰值显存，但窗口边界上被截断的跨页块会丢上下文，跨页合并质量随之受损。
MarkTechPost 另外提醒了一个加载前提：Transformers 需要以 trust_remote_code=True 加载，意味着执行仓库自带的 Python 代码。模型卡还嵌了一段整本长书单次请求解析的回放 GIF，作为 unlimited-horizon 的演示。
最弱子项 48.2 分，MarathonDocBench 尚无公开版本
在百度自己的图里，Unlimited OCR 2 的最低子项是标题层级（Heading，TEDS 口径）：MPDocBench 60.1，MarathonDocBench 48.2——MarkTechPost 把后者确认为其最低子分。这与 MPDocBench-Parse 论文的整体发现对得上：现有模型在基础文本提取上表现尚可，但在语义连续性整合、视觉内容解析和层级结构恢复上仍有明显短板。
数字的可核验性是另一层限制。目前所有对比成绩只以图表图片的形式存在于模型卡，MarkTechPost 称这些数字均为百度自报；模型卡同时链接了一份，但 MarathonDocBench 本身没有公开版本——第三方想复核数百页基准上 43.3 分的领先，暂时连考卷都拿不到。