除了大模型训练需要扫描大量实体书,长篇研报 AI 解读等场景需要超长文档 OCR 解析能力。 不得不说,OCR 技术最强
向阳乔木
@vista8
·
2026-10-27
·8 次浏览
除了大模型训练需要扫描大量实体书,长篇研报 AI 解读等场景需要超长文档 OCR 解析能力。
不得不说,OCR 技术最强的一直是百度文心。
第一代 Unlimited OCR 今年 6.22 发布后,第二天就登顶 GitHub Daily Trending 总榜, GitHub Star 5天破1万。
在 Hugging Face 上的累计下载量也突破了 1000 万次。
传统 OCR 一次一页,多页靠拼接,上代 Unlimited OCR 实现连续解析数十页。
这次文心 Unlimited OCR 2 发布更狠,直接实现任意页数解析。
如何做到的,原理是啥?
文心 Unlimited OCR 2 的技术叫 SR-SWA,中文叫稀疏参考滑动窗口注意力机制。
技术灵感竟来源于人类抄厚书的过程。
人逐页抄写文本时,注意力集中在当前页,回看往往只发生在跨页引用时。
不会、也不可能把整本书的内容保持在活跃注意力中。
这揭示了一个特性:跨页面的依赖关系具有稀疏性,而页面内部的信息关联则高度集中。
标准全局稠密注意力机制忽略了这种稀疏性,冗余注意力交互带来高额计算开销,文档长度增加会造成严重的内存瓶颈。
SR-SWA 怎么把这种“抄书习惯”用起来?关键是两步:先缩小参考范围,再挑出最值得参考的信息。
Page Gate(页面门控)先划范围
它把每次解码需要参考的视觉信息,从整本文档缩小到相关页面,并通过页面位置编码,帮助模型区分不同页面的位置,支持跨页信息的关联。
就像抄书时需要回看,先知道该翻到哪几页。
Token Sieve(Token 筛选器)再挑重点
它将候选视觉信息划分成固定大小的 Token 桶,按与当前内容的相关程度打分,只选取得分最高的 k 个远程 Token 桶参与参考。
相当于翻到相关页后,再挑出值得细看的区域,不必把所有历史视觉信息重新算一遍。
文心 Unlimited OCR 2 就这样让机器感知方式与人类阅读模式保持一致:重点看当前页,需要时再参考远处的相关视觉信息,让每一步解码的计算开销不再随着文档变长而不断增加。
实测视频、论文、开源模型地址见第二条
不得不说,OCR 技术最强的一直是百度文心。
第一代 Unlimited OCR 今年 6.22 发布后,第二天就登顶 GitHub Daily Trending 总榜, GitHub Star 5天破1万。
在 Hugging Face 上的累计下载量也突破了 1000 万次。
传统 OCR 一次一页,多页靠拼接,上代 Unlimited OCR 实现连续解析数十页。
这次文心 Unlimited OCR 2 发布更狠,直接实现任意页数解析。
如何做到的,原理是啥?
文心 Unlimited OCR 2 的技术叫 SR-SWA,中文叫稀疏参考滑动窗口注意力机制。
技术灵感竟来源于人类抄厚书的过程。
人逐页抄写文本时,注意力集中在当前页,回看往往只发生在跨页引用时。
不会、也不可能把整本书的内容保持在活跃注意力中。
这揭示了一个特性:跨页面的依赖关系具有稀疏性,而页面内部的信息关联则高度集中。
标准全局稠密注意力机制忽略了这种稀疏性,冗余注意力交互带来高额计算开销,文档长度增加会造成严重的内存瓶颈。
SR-SWA 怎么把这种“抄书习惯”用起来?关键是两步:先缩小参考范围,再挑出最值得参考的信息。
Page Gate(页面门控)先划范围
它把每次解码需要参考的视觉信息,从整本文档缩小到相关页面,并通过页面位置编码,帮助模型区分不同页面的位置,支持跨页信息的关联。
就像抄书时需要回看,先知道该翻到哪几页。
Token Sieve(Token 筛选器)再挑重点
它将候选视觉信息划分成固定大小的 Token 桶,按与当前内容的相关程度打分,只选取得分最高的 k 个远程 Token 桶参与参考。
相当于翻到相关页后,再挑出值得细看的区域,不必把所有历史视觉信息重新算一遍。
文心 Unlimited OCR 2 就这样让机器感知方式与人类阅读模式保持一致:重点看当前页,需要时再参考远处的相关视觉信息,让每一步解码的计算开销不再随着文档变长而不断增加。
实测视频、论文、开源模型地址见第二条
♥ 43
↻ 2
💬 16
❝ 0
918 字



