光、声与机器阅读的早期尝试
OCR 的部分根源在于让盲人读者能够阅读印刷品。在 1914 年，E. E. Fournier d'Albe 描述了一种类型阅读光电管（optophone），它将页面上的光模式转换为可听信号。听者通过学习来解读这些信号。这是一种光学阅读辅助工具，而非自动生成文本转录的机器，但它证明了印刷标记可以被感知并以另一种形式呈现。
其他发明家则致力于自动字符识别。Gustav Tauschek 于 1928 年申请并于 1930 年发布了阅读机专利，展示了通过光电对比字符模板的方法。其数字阅读示例使用了旋转切口来测试设备呈现的形状。这些方法在通用数字计算机普及之前，就将光学、机械运动和电气传感结合在了一起。
检测标记与识别字符之间的区别一直是 OCR 的核心。捕获页面仅仅是开始：一个实用的阅读器还需要能够区分相似形状，并以其他设备可用的形式表达其判断结果。
字符阅读器进入商业运营
在 1950 年代，自动阅读逐渐接近日常业务处理。David Shepard 的阅读设备专利于 1951 年申请并于 1953 年获批。美国国家标准局的一项当代调查记录了 1955 年在《读者文摘》安装的生产系统。这些系统解决了实际的瓶颈：原本印在纸上的信息在计算机处理前必须由人工重新输入。
这些阅读器通常在比当今通用文档工具更受限的条件下工作。受限的字符集、可预测的打印格式和受控的放置位置使识别问题更易于管理。扫描仪、识别硬件和输出机制被设计为一个协调系统，通常针对特定类别的文档。
这是目的和规模上的重大转变。光学阅读正成为商业计算的一种输入方式。成功取决于对既定工作负载的一致性处理，而不是证明机器能在实验室条件下识别几个字符。
标准化字体使印刷文本更易于识别
提高识别率的一种方法是使输入更具可预测性。机器可读字体（如 OCR-A 和 OCR-B）使用了指定的字符形状和打印要求，减少了阅读器需要处理的变化。OCR-B 出现在 1965 年的 ECMA-11 标准中，后续版本对规范进行了完善。标准化有助于设备和印刷文档更一致地协同工作。
这种方法将部分工程工作转移到了文档本身。严格控制的字体可以使数字更易于区分，而指定的尺寸和间距减少了扫描过程中的不确定性。代价是灵活性：围绕受控打印设计的阅读器无法自动处理每一份报纸、书籍或手写笔记。
光学字符识别也应与磁墨字符识别（MICR）区分开来。两者都支持文档自动化，但 MICR 感知的是磁性可读字符，而 OCR 解释的是其可见图像。这两种技术并行发展；它们并非同一种阅读过程的不同名称。
全字体识别使普通印刷品触手可及
下一个目标是读取并非专门为机器打印的材料。全字体识别旨在处理各种普通字体，减少对单一规定字母表的依赖。该名称描述了这一发展方向；它并不意味着每种字体、扫描件或页面布局都能无误地被读取。
一个显著的里程碑是 Ray Kurzweil 及其团队于 13 年 1976 月推出的阅读机。在为美国盲人基金会所做的口述历史中，Kurzweil 描述了扫描、字符识别和语音合成的结合。这些组件共同使印刷材料转化为语音输出，将识别与完整的阅读体验连接起来。
同样的基础进步也支持了商业数据录入。OCR 的价值日益取决于处理现有文档，而不仅仅是围绕阅读器局限性设计的文档。同时，这些系统表明仅识别单个字母是不够的：在朗读或重用之前，必须将单词按有用的顺序组合起来。
扫描与 OCR 成为桌面工作流程的一部分
随着个人计算机和桌面扫描仪的发展，OCR 超出了专用阅读设备的范畴。1990 年美国环境保护署对桌面扫描仪的评估已将文本识别视为一种实用的办公能力，比较了将纸质文件转换为可用计算机文件的设备和软件。扫描页面并将文本传输到文字处理软件中，成为了一种日益普及的工作流程。
软件不仅需要分类孤立的字符，还需要将文本与图片分离、识别行和列、补偿倾斜的扫描件，并决定如何在可编辑文档中呈现页面。图像清理、布局分析、词典和上下文检查成为了整体识别过程的重要组成部分。即使页面上的字母大部分正确，如果列混在一起，仍需要进行大量的修复工作。
PDF 在 1993 中的引入，提供了一种交换页面文档的便携方式。PDF 是一种文档格式，而非识别方法，但它为扫描页面及相关文本提供了一个实用的载体。保留页面的外观并使其内容可搜索，现在成为了可以相辅相成的目标。
手写研究与神经网络改变了识别技术
随着桌面设备的普及，研究人员不断改进对不规则书写的识别能力。NIST 从 OCR 到 1989 的 1998 项目涵盖了手写表格和申请表，涉及美国普查局和国税局。公共数据集和参考系统的出现，使得研究人员能够通过共享示例来比较各种方法，而不必仅仅依赖精心挑选的页面演示。
神经识别技术早已是这项工作的重要组成部分。1998 论文《应用于文档识别的基于梯度的学习》描述了卷积网络，它能从示例中学习有用的视觉特征，并结合了识别、分割和语言约束的组合方法。这扩展了统计模式识别的广泛历史；早期的 OCR 也包含了超越简单模板匹配的方法。
从示例中学习提供了一种适应笔画和字符形状变化的方法。这也使得训练数据和评估变得更加重要。一个系统可能在孤立的手写数字上表现良好，但在处理连笔手写或不熟悉的表格时却会遇到困难。在某项识别任务上取得进展本身就很有价值，而不必自动解决所有其他类型的文档。
大型数字馆藏将 OCR 转化为发现工具
数字化项目扩展了OCR的作用，从单纯的页面重用转变为在整个馆藏中发现信息。图书馆和档案馆可以在保存报纸、书籍和记录图像的同时，对识别出的文本进行索引。美国国会图书馆于2007年3月推出了Chronicling America，为研究人员提供了可搜索的历史报纸资源。
这改变了人们查阅档案的方式。通过姓名、地点或短语，可以直接定位到相关页面，而无需读者逐一翻阅每一期。OCR 成为了扫描、元数据、索引和检索这一大型系统的一部分。其效用不再仅仅通过导出的文档与源文件的相似度来衡量。
历史资料也暴露了持续存在的弱点：纸张损坏、旧式字体、间距不规则和复杂的栏目。识别错误可能会掩盖相关的搜索结果或产生误导性的匹配。将原始页面与机器生成的文本并列呈现，使读者能够核实发现的内容，并使改进识别技术成为丰富现有数字馆藏的一种方式，而无需重新扫描每一项内容。
在不分割每个字符的情况下读取完整序列
手写识别中一个长期存在的难题是确定一个字符在哪里结束，下一个字符从哪里开始。连笔和重叠的字母使得严格的“先切割后分类”过程变得脆弱。包括隐马尔可夫模型在内的统计序列方法已经解决了这个问题。循环神经网络提供了另一种在解释行文时利用相邻信息的方法。长短期记忆（LSTM）网络作为一种循环网络，有助于在整个序列中保留上下文，而不是独立地判断每一个小区域。
2006 引入的联结主义时间分类（CTC）提供了一种训练方法，用于将输入序列与文本标签进行匹配，而无需预先标记每个字符的位置。最初的论文评估了语音识别，随后的工作将该方法应用于手写识别。一篇 2009 的论文将序列训练与循环网络相结合，利用双向上下文来识别不受约束的手写行。
这减少了对完美的逐字符分割的依赖，并有助于使行级识别更加实用。它并没有消除所有的准备步骤：系统仍然可能需要定位文本、识别行并处理页面方向。重要的变化在于，识别过程可以学习图像序列与其转录文本之间的对齐关系，而无需预先接收每个字符的边界。
深度学习使 OCR 超越了平板扫描仪
拍摄的文本再次扩大了问题的范围。桌面上的收据、商店招牌或以一定角度拍摄的页面可能包含阴影、透视畸变和干扰背景。在识别文字之前，系统必须先找到它们。因此，文本检测和文本识别成为了紧密相关的研究任务，在基于摄像头的阅读和翻译中具有实际意义。
深度学习改进了这两个阶段。一篇 2015 的场景文本论文将卷积图像特征、循环序列处理和转录整合到一个可训练的识别系统中。研究人员不再将特征提取和阅读视为完全独立的手工组件，而是可以对它们进行联合优化。该方法还能处理不同长度的单词，而无需先隔离每个字母。
基准测试日益反映出不受控的捕获条件。2015 ICDAR 鲁棒阅读竞赛增加了偶然场景文本，将评估范围从刻意围绕可读文字构图的图像扩展开来。这鼓励了能够应对人们在日常照片中遇到的文本的系统。这也清楚地表明，在干净的扫描文档上的表现并不能完全描述阅读器在更广阔的视觉世界中的能力。
合成训练数据和多语言基准测试扩大了覆盖范围
更好的学习方法也需要更多样化的示例。合成训练图像让研究人员能够生成不同字体、大小、颜色和背景的文本，而无需手动标记每一张新照片。2016 发表的牛津大学研究将人工文本置入真实场景中，同时考虑了它们的几何结构，为文本检测提供了大量的训练材料。生成的示例通过使特定的变化更容易大规模产生，从而补充了真实图像。
多语言评估同步扩展。2017 ICDAR 多语言挑战赛包含了代表六种书写系统的九种语言；其 2019 的后续版本增加了一种语言和端到端识别任务。这些基准测试将混合脚本、不同方向和更广泛的书写系统纳入了统一的评估环境。
更广泛的经验是，语言支持不仅仅是在字母表中增加字符。系统需要合适的训练示例和能够应对不同字符结构、连笔书写和阅读方向的方法。共享数据集使得衡量这些差异变得更容易，同时也揭示了在代表性强的语言与不太熟悉的材料之间的性能差距。
注意力机制与布局感知学习将单词与页面结构联系起来
2017 为语言任务引入的 Transformer 架构，提供了一种通过注意力机制对序列间关系进行建模的强大方法。它对 OCR 的重要性是通过后来在文本识别和文档分析中的应用而发展起来的。注意力机制允许系统在产生结果时权衡输入的各个相关部分，从而在卷积和循环网络之外增加了一种新的方法。
文档研究的视野也超越了纯粹的转录。一项于 2019 提交并于 2020 发表的研究，在预训练阶段将识别出的文本与其页面位置相结合，随后在使系统适应特定文档任务时融入了视觉特征。位置之所以重要，是因为相同的词语在标题、地址块或表格行中可能扮演不同的角色。
这有助于将识别结果与文档分类和信息提取等任务联系起来。阅读一个数字并将其识别为发票总额是相关但截然不同的操作；页面结构为后者提供了线索。布局感知方法并没有使 OCR 变得多余。它们提供了将识别输出与周围视觉证据结合使用的方法，推动文档处理从单一的词流向元素间的关系转变。
Transformer 读取文本并直接生成文档结果
到 2021 年，研究人员已将预训练的图像和文本 Transformer 直接应用于识别任务。一种已发表的方法将图像编码器与文本解码器配对，并对印刷文本、手写文本和场景文本进行了评估。在大型数据集上进行预训练，随后针对特定任务进行训练，为学习视觉模式并生成连贯的字符或词序列提供了另一条途径。
另一项独立的研究探索了在不先运行独立的传统 OCR 引擎的情况下，直接从图像生成结构化文档结果。2021 年底引入并在 2022 年修订的研究展示了这种文档理解方法。该研究中使用的“OCR-free”一词描述了无需单独的 OCR 阶段；系统仍然需要从图像中提取相关的书面信息。
这些发展扩展了可用的架构。处理系统可以先识别文本再进行分析，或者训练模型直接生成所需结果。这两种方案都不能保证每一页的输出都准确无误。选择不同的方案会改变错误引入的位置、结果检查的方式，以及保留中间证据（如识别出的词语及其位置）的难易程度。
多模态系统拓宽了文档阅读范围并提出了新的测试
近期的多模态系统结合了图像处理和语言生成，使文档文本能够参与更广泛的交互。根据系统和任务的不同，用户可以请求转录、询问关于页面的问题或提取特定字段。识别功能日益融入更大的文档工作流中，而当主要需求是精确、可检查的转录件时，专用的 OCR 仍然非常有用。
评估方式也随之扩展。2023 年引入的 OCRBench 将识别与文档问答、信息提取和手写数学表达式一并纳入考量。其后续版本于 2024 年底发布并于 2025 年修订，考察了更广泛的视觉文本和推理任务。报告指出的局限性包括细微细节、布局、复杂元素和较生僻的文本，这表明单一的准确率声明无法涵盖所有的文档阅读需求。
这种更广泛的能力也使得输出的目的变得更加重要。有用的解释可以进行意译，而忠实的转录必须保留页面上的实际内容。流利的措辞无法证明姓名、金额或引文已被正确读取。系统需要适合任务的评估方式，无论是针对字符准确率、阅读顺序、表格结构还是提取字段的正确性。
跨越一个世纪，进步的方向始终是朝着更少受控的输入和更有用的输出发展：从规定的字符到普通的印刷体、手写体、照片和复杂的文档。新方法不断与既有方法融合。核心挑战依然明确：在保留重要细节的同时，将视觉证据转化为可靠的信息。