XX2X 精选

除了大模型训练需要扫描大量实体书,长篇研报 AI 解读等场景需要超长文档 OCR 解析能力。 不得不说,OCR 技术最强

向阳乔木 的头像
向阳乔木 @vista8
· 2026-10-27 ·8 次浏览
在 X 上查看 ↗
除了大模型训练需要扫描大量实体书,长篇研报 AI 解读等场景需要超长文档 OCR 解析能力。

不得不说,OCR 技术最强的一直是百度文心。

第一代 Unlimited OCR 今年 6.22 发布后,第二天就登顶 GitHub Daily Trending 总榜, GitHub Star 5天破1万。

在 Hugging Face 上的累计下载量也突破了 1000 万次。

传统 OCR 一次一页,多页靠拼接,上代 Unlimited OCR 实现连续解析数十页。

这次文心 Unlimited OCR 2 发布更狠,直接实现任意页数解析。

如何做到的,原理是啥?
文心 Unlimited OCR 2 的技术叫 SR-SWA,中文叫稀疏参考滑动窗口注意力机制。

技术灵感竟来源于人类抄厚书的过程。

人逐页抄写文本时,注意力集中在当前页,回看往往只发生在跨页引用时。

不会、也不可能把整本书的内容保持在活跃注意力中。

这揭示了一个特性:跨页面的依赖关系具有稀疏性,而页面内部的信息关联则高度集中。

标准全局稠密注意力机制忽略了这种稀疏性,冗余注意力交互带来高额计算开销,文档长度增加会造成严重的内存瓶颈。

SR-SWA 怎么把这种“抄书习惯”用起来?关键是两步:先缩小参考范围,再挑出最值得参考的信息。

Page Gate(页面门控)先划范围

它把每次解码需要参考的视觉信息,从整本文档缩小到相关页面,并通过页面位置编码,帮助模型区分不同页面的位置,支持跨页信息的关联。

就像抄书时需要回看,先知道该翻到哪几页。

Token Sieve(Token 筛选器)再挑重点
它将候选视觉信息划分成固定大小的 Token 桶,按与当前内容的相关程度打分,只选取得分最高的 k 个远程 Token 桶参与参考。

相当于翻到相关页后,再挑出值得细看的区域,不必把所有历史视觉信息重新算一遍。

文心 Unlimited OCR 2 就这样让机器感知方式与人类阅读模式保持一致:重点看当前页,需要时再参考远处的相关视觉信息,让每一步解码的计算开销不再随着文档变长而不断增加。

实测视频、论文、开源模型地址见第二条
♥ 43 ↻ 2 💬 16 ❝ 0 918 字

本条内容由 XX2 从 X 收录并作站内呈现,版权归 @vista8 所有。

原文时间 2026-10-27 14:35:34(北京时间),采集于 2026-10-27 16:30:33。

查看原帖 ↗ ← 回到首页

@vista8 的其他内容