理解识别错误

OCR 挑战:从困难的扫描件到不可靠的文本

OCR 可能会因为页面难以看清、书写难以解读或结构难以保留而失败。这些问题会产生不同类型的错误:错误的字符、遗漏的段落、混乱的表格,或者看似合理但与源文件不符的句子。了解错误的根源,有助于判断结果并决定哪些部分需要关注。

11 分钟阅读核心观点

主要挑战一览

  • 图像质量、字符识别和文档结构都会影响最终结果。

  • 可读、可搜索或流畅的文本仍可能包含遗漏和不正确的细节。

  • 以源文档为参考,评估您的任务所依赖的信息。

错误可能在识别单词之前就已经产生

将页面转换为有用的文本涉及多个决策。系统必须识别相关区域,解释其中的标记,并将结果排列成适当的顺序。这些工作可能由不同的组件处理,也可能在学习型系统中结合在一起,但它们的要求依然不同。流程早期的失败可能会影响后续的一切。

考虑一篇两栏文章,页边空白处有手写笔记。印刷文字可能很容易识别,但笔记可能会被误认为是正文的一部分,且栏目可能会交错。拼写检查无法解决这个问题。相反,一个排列完美的段落仍可能包含误读的姓名或日期。

有用的区分在于缺失的证据、错误的识别和丢失的结构。更准确的字母识别无法恢复从未包含的区域,更清晰的布局也无法确定两个模糊字符中实际书写的是哪一个。

小字符和低质量捕获限制了可用证据

识别取决于字符之间的可见差异。模糊可能会闭合“e”的空隙、合并相邻笔画或抹除逗号与句号之间的区别。小文本可能包含的像素太少,无法保留这些差异。强压缩可能会在边缘周围增加块状图案和振铃效应,使文件在正常大小时看起来可读,但会损坏识别器所需的细节。

因此,图像尺寸和文件大小是不完整的质量衡量标准。大照片可能包含一个微小、遥远的页面;高分辨率扫描件仍可能失焦。更改 DPI 标签或放大现有图像并不能为原始文字提供新的测量数据。IMPACT 数字化项目的捕获指南据此将普通文本与需要更多细节的极小字体区分开来。

当原始文件可用时,更好的捕获可以减少这种不确定性。然而,当单词被眩光遮挡、被裁剪掉或物理缺失时,转录的该部分就没有可见证据。增强功能可能会建议一个合理的形状,但无法验证缺失的措辞。

旋转、透视和页面弯曲会产生不同的问题

以一定角度拍摄的页面不仅仅是一个旋转问题。透视可能使页面的一侧比另一侧窄,而书本的弯曲表面可能会使装订线附近的线条弯曲。侧向页面、轻微倾斜的扫描件和弯曲的书页展开需要不同的几何校正。仅仅旋转这三者并不会产生相同的改进效果。

这些畸变会干扰线条的检测和相邻单词的分离。在装订线附近,字符可能会被压缩在一起或部分隐藏在阴影中。关于文档去弯曲的研究将恢复更平坦的页面视图视为一项独立任务,因为页面形状会影响后续的识别。

几何校正也有局限性。更好的对齐可以使现有的文字更容易解读,但重复重采样会软化小细节,而展平无法揭示从未被捕获的文本。目标是获得证据的可用表示,而不仅仅是一个看起来呈矩形的页面。

模糊的墨迹和背景标记与文本竞争

并非每个深色标记都属于字符。纸张纹理、污渍、横线、印章以及从背面透出的印刷内容都可能类似于文本或穿过文本。在另一个极端,模糊的铅笔字、褪色的墨迹和浅色的标点符号可能难以与背景区分开来。同一页面可能同时包含这两种问题。

图像清理涉及权衡。将页面转换为黑白需要决定哪些色调属于前景标记,哪些属于背景。去除浅色纸张纹理的阈值也可能擦除小数点。去噪可能会丢弃小的重音符号,而锐化可能会增强不需要的边缘。因此,OCR 工作流将增强、二值化和去噪视为不同的操作,而不是通用的清理设置。

重叠标记需要特别小心。印章可能包含值得保留的信息,即使它穿过了段落;签名可能具有意义,但无法可靠地转录。不加区分地移除干扰区域可能会移除文档本身的一部分。视觉上更干净的图像并不一定更忠实于原件。

不熟悉的排版使清晰的印刷体难以解读

图像可能很清晰,但其文字对识别器来说可能很陌生。装饰性字体、压缩字体、连字和不寻常的字符形状改变了必须识别的模式。连字可以将原本独立的字母连接起来;旧式的字母形式可能类似于不同的现代字符。小型大写字母、上标和紧密排列的标点符号引入了额外的区别。

历史文档通常结合了多种困难。字体在不同的印刷机和时期各不相同,拼写可能与现代用法有异,纸张或印刷痕迹也可能受损。关于历史 OCR 的研究指出了排版和复杂布局是主要挑战,并采用了允许在多个阶段进行校正的工作流程。仅改善图像对比度无法解决所有不熟悉的字母形式。

此外还有一个编辑选择问题:转录页面和将其语言现代化是不同的任务。自动将不常见的拼写替换为熟悉的词汇可以使段落更易于阅读,但同时也降低了对原始来源的忠实度。历史名称、缩写和引文需要根据文档自身的惯例进行评估。

手写内容在不同书写者之间以及同一页面内各不相同

手写内容没有单一、稳定的字符形状集合。书写者会连写字母、改变倾斜度、缩写单词并留下不一致的间距。匆忙写下的单词可能与几行前仔细书写的同一个单词看起来不同。连笔也使得难以判断一个字符在哪里结束,下一个字符从哪里开始。

基于序列的识别可以使用相邻的字母和单词来解释一行文字,但上下文并不能消除歧义。不熟悉的姓氏、代码或孤立的数字可能无法提供多少语言学上的帮助。页边注、划掉的文字和行间添加的内容提出了关于如何表示书写者修改的独立问题。这些既是识别挑战,也是转录策略挑战。

识别图像与记录实时笔画之间的区别也很重要。扫描的笔记包含最终可见的痕迹,但没有包含它们的顺序、速度或方向。手写研究将这些离线图像与在线笔迹输入区分开来。不应假设在捕捉到的笔迹运动或整齐分离的字符上取得的成功,可以原封不动地转移到整页手写内容的照片上。

语言、脚本和阅读方向引入了不同的歧义

语言设置提供了有用的上下文,但语言和脚本并不相同。多种语言可以共享同一个脚本,同时使用不同的拼写模式或附加字母。文档也可能在句子中混合使用脚本,例如包含本地语言街道名称和拉丁语标识符的地址。多语言识别必须应对这些转换以及单个字符。

识别语言描述的是正在读取的文本,而不是网站界面的语言。可用的语言选项也不意味着对每种字体、书写风格或捕捉条件都具有相同的准确性。多语言基准测试之所以专门检查不同的脚本和混合场景,正是因为性能需要在各种材料上进行测试。

对于阿拉伯语、波斯语和其他从右向左书写的语言,显示顺序增加了另一层复杂性。Unicode 将存储字符的逻辑顺序与它们的视觉排列区分开来。数字、标点符号和拉丁单词在同一行内可能遵循不同的方向规则。因此,明显的乱码可能涉及识别、文本存储或显示问题。手动反转整个字符串可能会损坏底层字符顺序本来正确的转录内容。

正确的单词仍可能以错误的阅读顺序出现

文档布局表达了纯字符字符串无法自动捕捉的关系。列、标题、说明文字、脚注和侧边栏各司其职。识别器可能会正确读取其中的单词,但在组合它们时却采用了错误的顺序。跳入相邻列的句子属于结构性错误,即使每个单词的拼写都是正确的。

布局研究还表明了为什么熟悉的文档类型不是一个完整的测试。围绕科学文章开发的系统可能会在手册、表格或报告中遇到不同的排列方式。遗漏一小段说明文字或将页眉视为正文可能会影响整个结果的实用性。找到每个相关区域并对这些区域进行排序,都是评估文档转换的一部分。

这些问题对于重用和无障碍访问非常重要。页面看起来可能没问题,但复制的文本或语音输出可能遵循不合适的顺序。W3C 的 PDF 指南解释了逻辑阅读顺序如何支持无障碍访问。识别出的文本很有用,但仅凭生成文本本身并不能证明标题、阅读顺序和文档的其他无障碍需求已得到解决。

表格、表格和公式取决于标记之间的关系

表格的含义取决于哪个值属于哪一行和哪一列。合并单元格、重复标题、空单元格以及跨页延续的表格使这种关系变得复杂。如果一个值被分配给了错误的标题,那么读取所有可见数字是不够的。表格提取研究将查找表格、恢复其结构以及识别单元格角色区分开来。

表格(Forms)提出了一个相关的问题。标签及其值可能被空格、线条或中间的注释隔开。附近的复选框可能携带纯文本转录无法表达的信息。例如,提取“已批准”和“已拒绝”而不记录勾选了哪个框,就会丢失表格中决定性的部分,即使这两个词都被正确识别了。

数字和公式也会放大微小的错误。丢掉 12.5 中的小数点会改变数值;将减号与破折号混淆会改变表达式。分数、指数和下标不仅依赖于字符标识,还依赖于位置。公式的二维结构需要合适的表示方式,表格重构和数学转录需要超越普通单词拼写的评估。

流畅的输出可能会掩盖遗漏和不受支持的更正

语言上下文有助于识别器在合理的解读之间进行选择,但合理性和忠实度是不同的目标。系统可能会用常用词替换不熟悉的名称、规范化拼写错误或提供适合句子的措辞。结果听起来可能很自然,但却偏离了页面内容。当任务是转录而非编辑时,这一点尤为重要。

一项 2026 手写基准测试检查了书写者错误、多种语言和复杂表达式,并报告了多个生成系统中存在视觉上不受支持的更正。这一发现说明了一种故障模式,而不是所有系统行为都相同的规则。更广泛地说,格式良好的段落并不能证明每个单词都存在,也不能证明所有预期的行都已包含在内。

错误也可能来自早期的处理。扫描的 PDF 可能已经包含了一个不完美的 OCR 文本层,因此可选择的文本可能仍然与可见页面不符。运行两次识别提供了另一种比较,但两次运行可能会犯同样的错误。输出之间的一致性不能取代源图像,特别是在字符或段落仍然模糊不清的情况下。

准确性取决于所测量的材料和任务

准确率数字只有在定义了测试的情况下才有意义。结果取决于文档、参考转录以及对空格、标点符号和其他差异的处理。清晰打印段落的样本并不能确定在手写表格或受损报纸上的表现。代表性评估包括对预期工作至关重要的困难页面和不寻常布局。

字符错误率衡量的是相对于文本长度的字符级替换、遗漏和插入;词错误率则对应于单词的比较。OCR-D 的评估指南将这些指标与布局和阅读顺序分开处理。它们能回答有用的问题,但较低的总体错误率仍可能掩盖错误的账号或改变句子含义的否定词缺失。

因此,评估应包括完整性、结构和重要细节,以及汇总得分。档案搜索、引用和用于计算的表格有不同的要求。标记无法解析的阅读内容比选择最通顺的猜测更有参考价值,并且保留指向源文件的链接,可以在获得更好的证据或进行复核时进行后续更正。

错误的模式指向其可能的原因

多种原因可能产生相同的可见症状,因此诊断是一种缩小可能性范围的方法,而非保证。重复混淆相似字母与拼写正确的单词出现在错误的顺序中,需要不同的调查方式。以下示例将常见症状与可能丢失的信息联系起来。

一旦理解了故障,应对措施就可以更有针对性:获取更清晰的源文件、校正几何形状、检查区域解释或修复最终转录内容。单独的“提高 OCR 结果”指南提供了准备和复核工作流程。目的是保留文档的信息,而不仅仅是生成看起来整洁的文本。

错误的模式指向其可能的原因
可见症状可能的潜在故障面临风险的信息
重复混淆相似字母细节不足或不熟悉的字符形状确切的拼写、名称和标识符
模糊的标记或标点符号消失对比度低或过度过滤重音符号、小数点和小注释
正确的单词出现在意外的顺序中混合列或错误的区域顺序句子含义和段落结构
数值出现在错误的标题下方丢失行、列或标签关系原本正确的数字的含义
混合方向的文本显示乱码识别、逻辑顺序或显示行为单词、标点符号和标识符的排序
不寻常的措辞变得更常见上下文驱动的替换或重写忠实的名称、拼写和引用
整个注释或段落缺失区域被裁剪、遗漏或忽略转录的完整性
将所学知识付诸实践

从您自己的文档开始

为您的文件选择工具,识别其文本,并对照来源审阅结果。

语言38

English العربية Français Italiano Deutsch Español Português Nederlands Русский Türkçe 日本語 中文 हिन्दी Bahasa Indonesia Bahasa Melayu 한국어 Tiếng Việt ไทย Polski Svenska Українська Norsk বাংলা Ελληνικά فارسی اردو Čeština Dansk Magyar Română Suomi Български Filipino ქართული Slovenčina Azərbaycanca עברית Slovenščina