Свет, звук и первые подходы к машинному чтению
Некоторые истоки OCR лежат в попытках сделать печатные тексты доступными для незрячих читателей. В 1914 году Э. Э. Фурнье д'Альб описал оптофон для чтения шрифта, который преобразовывал световые узоры со страницы в звуковые сигналы. Слушатель учился интерпретировать эти сигналы. Это было оптическое вспомогательное средство для чтения, а не машина, автоматически создающая текстовую расшифровку, но оно доказало, что печатные знаки можно считывать и представлять в другой форме.
Другие изобретатели стремились к автоматической идентификации символов. Патент на читающую машину Густава Таушека, поданный в 1928 году и опубликованный в 1930 году, иллюстрировал фотоэлектрическое сравнение с шаблонами символов. В примере с чтением цифр использовались вращающиеся вырезы для проверки формы, представленной устройству. Эти подходы объединили оптику, механическое движение и электрическое считывание задолго до того, как универсальные цифровые компьютеры стали обычным явлением.
Различие между обнаружением знака и идентификацией символа оставалось центральным для OCR. Захват страницы был лишь началом: полезному считывающему устройству также нужно было различать похожие формы и выражать свое решение в форме, которую могло использовать другое устройство.
Символьные считыватели входят в бизнес-процессы
В 1950-е годы автоматическое чтение приблизилось к повседневной обработке бизнес-данных. Патент Дэвида Шепарда на считывающее устройство был подан в 1951 году и выдан в 1953 году. Современный обзор Национального бюро стандартов зафиксировал производственную установку в Reader's Digest в 1955 году. Такие системы решали практическую проблему: информацию, уже напечатанную на бумаге, человеку приходилось вводить вручную, прежде чем компьютер мог ее обработать.
Эти считыватели обычно работали в гораздо более узких условиях, чем современные универсальные инструменты для работы с документами. Ограниченный набор символов, предсказуемая печать и контролируемое размещение делали задачу распознавания более управляемой. Сканер, оборудование для распознавания и механизм вывода проектировались как согласованная система, часто для определенного класса документов.
Это было значительное изменение в целях и масштабах. Оптическое чтение становилось методом ввода данных для бизнес-вычислений. Успех зависел от последовательной обработки определенного объема работы, а не от демонстрации того, что машина может распознать несколько символов в лабораторных условиях.
Стандартизированные шрифты облегчают распознавание печатного текста
Одним из способов улучшения распознавания было сделать входные данные более предсказуемыми. Машиночитаемые шрифты, такие как OCR-A и OCR-B, использовали заданные формы символов и требования к печати, уменьшая вариативность, с которой приходилось справляться считывателю. OCR-B появился в стандарте ECMA-11 в 1965 году, а последующие редакции уточняли спецификацию. Стандартизация помогла оборудованию и печатным документам работать вместе более согласованно.
Этот подход переложил часть инженерных усилий на сам документ. Строго контролируемый шрифт мог сделать цифру более отличимой от другой, в то время как заданные размеры и интервалы уменьшали неопределенность при сканировании. Компромиссом была гибкость: считыватель, разработанный для контролируемой печати, не мог автоматически обрабатывать любую газету, книгу или рукописную заметку.
Оптическое распознавание символов также следует отличать от распознавания магнитных чернил, или MICR. Оба метода поддерживали автоматизацию документов, но MICR считывает магнитно-читаемые символы, тогда как OCR интерпретирует их видимое изображение. Две технологии развивались параллельно; это не разные названия одного и того же процесса чтения.
Омнифонтное распознавание делает обычную печать доступной
Следующей амбицией стало чтение материалов, которые не были напечатаны специально для машины. Омнифонтное распознавание было нацелено на работу с рядом обычных шрифтов, уменьшая зависимость от одного предписанного алфавита. Название описывало это направление прогресса; оно не означало, что каждый шрифт, скан или макет страницы можно прочитать без ошибок.
Важной вехой стала читающая машина, представленная Рэем Курцвейлом и его командой 13 января 1976 года. В своей устной истории для Американского фонда для слепых Курцвейл описывает сочетание сканирования, распознавания символов и синтезированной речи. Вместе эти компоненты позволили превратить печатный материал в голосовой вывод, соединив распознавание с полноценным процессом чтения.
Те же фундаментальные достижения также поддерживали коммерческий ввод данных. Ценность OCR все больше зависела от обработки существующих документов, а не только документов, разработанных с учетом ограничений считывателя. В то же время эти системы показали, почему распознавания отдельных букв было недостаточно: слова нужно было собрать в полезном порядке, прежде чем их можно было прочитать вслух или использовать повторно.
Сканирование и OCR становятся частью настольного рабочего процесса
По мере развития персональных компьютеров и настольных сканеров OCR вышло за рамки специализированных установок для чтения. Оценка настольных сканеров Агентством по охране окружающей среды США в 1990 году уже рассматривала распознавание текста как практическую офисную возможность, сравнивая оборудование и программное обеспечение для преобразования бумаги в полезные компьютерные файлы. Сканирование страницы и перенос ее текста в текстовый процессор стали все более доступным рабочим процессом.
Программному обеспечению приходилось делать больше, чем просто классифицировать отдельные символы. Ему нужно было отделять текст от изображений, определять строки и столбцы, компенсировать наклон сканирования и решать, как представить страницу в редактируемом документе. Очистка изображений, анализ макета, словари и контекстные проверки стали важными частями общего процесса распознавания. Страница могла содержать в основном правильные буквы, но все равно требовать существенного исправления, если ее столбцы были перемешаны.
Внедрение PDF в 1993 добавило портативный способ обмена постраничными документами. PDF был форматом документа, а не методом распознавания, но он стал удобным хранилищем для отсканированных страниц и связанного с ними текста. Сохранение внешнего вида страницы и обеспечение возможности поиска по её содержимому стали взаимодополняющими задачами.
Исследования рукописного текста и нейронные сети меняют распознавание
Наряду с распространением настольных систем исследователи совершенствовали распознавание менее предсказуемого письма. Программа NIST OCR с 1989 по 1998 включала рукописные формы и заявки, связанные с Бюро переписи населения США и Налоговым управлением (IRS). Публичные наборы данных и эталонные системы позволили сравнивать методы на общих примерах, а не полагаться только на демонстрации с тщательно отобранными страницами.
Нейронное распознавание уже было важной частью этой работы. В статье 1998 «Градиентное обучение, примененное к распознаванию документов» были описаны сверточные сети, которые обучались полезным визуальным признакам на примерах, а также методы объединения распознавания, сегментации и языковых ограничений. Это расширило более широкую историю статистического распознавания образов; более ранние OCR также включали методы, выходящие за рамки простого сопоставления с шаблоном.
Обучение на примерах предложило способ адаптации к вариациям в начертании штрихов и форм символов. Это также повысило важность обучающих данных и оценки. Система могла хорошо справляться с изолированными рукописными цифрами, но испытывать трудности со связным рукописным текстом или незнакомыми формами. Прогресс в одной задаче распознавания был ценен, даже если он не решал автоматически все остальные виды документов.
Крупные цифровые коллекции превращают OCR в инструмент поиска
Проекты по оцифровке расширили роль OCR от повторного использования страницы до поиска информации по целым коллекциям. Библиотеки и архивы получили возможность сохранять изображения газет, книг и записей, индексируя при этом распознанный текст. Библиотека Конгресса запустила проект Chronicling America в марте 2007, предоставив исследователям ресурс для поиска по историческим газетам.
Это изменило подход людей к работе с архивами. Имя, место или фраза могли привести прямо к нужной странице, избавляя читателя от необходимости просматривать каждый выпуск. OCR стал частью более крупной системы сканирования, метаданных, индексации и поиска. Его полезность перестала измеряться только тем, насколько экспортированный документ похож на оригинал.
Исторические материалы также выявили постоянные слабые места: поврежденная бумага, старые шрифты, неравномерные интервалы и сложные колонки. Ошибки распознавания могли скрыть нужный результат поиска или привести к ложному совпадению. Сохранение оригинальной страницы рядом с машинописным текстом позволило читателям проверять находки, а улучшенное распознавание стало способом обогатить существующую цифровую коллекцию без необходимости повторного сканирования каждого элемента.
Чтение целых последовательностей без разделения каждого символа
Давней трудностью в распознавании рукописного текста было определение того, где заканчивается один символ и начинается следующий. Связные штрихи и перекрывающиеся буквы делали процесс «сначала разрезать, потом классифицировать» ненадежным. Статистические методы последовательностей, включая скрытые марковские модели, уже решали эту проблему. Рекуррентные нейронные сети предложили другой способ использования соседней информации при интерпретации строки. Сети долгой краткосрочной памяти (LSTM), тип рекуррентных сетей, помогли сохранять контекст всей последовательности, вместо того чтобы оценивать каждую небольшую область независимо.
Connectionist Temporal Classification (CTC), представленная в 2006, обеспечила метод обучения для сопоставления входных последовательностей с текстовыми метками без необходимости предварительной разметки позиции каждого символа. В оригинальной статье оценивалась речь, а последующие работы применили этот подход к рукописному тексту. В статье 2009 объединили обучение последовательностей с рекуррентными сетями, которые использовали контекст в обоих направлениях для распознавания произвольных рукописных строк.
Это уменьшило зависимость от идеальной сегментации посимвольно и помогло сделать распознавание на уровне строк более практичным. Это не устранило все этапы подготовки: системе все еще могло требоваться найти текст, определить строки и обработать ориентацию страницы. Важное изменение заключалось в том, что распознавание могло выучить выравнивание между последовательностью изображений и её транскриптом, вместо того чтобы получать границы каждого символа заранее.
Глубинное обучение выводит OCR за пределы планшетного сканера
Фотографирование текста снова расширило проблему. Чек на столе, вывеска магазина или страница, снятая под углом, могут содержать тени, перспективные искажения и отвлекающий фон. Прежде чем распознать слова, система должна была их найти. Таким образом, обнаружение текста и распознавание текста стали тесно связанными исследовательскими задачами, имеющими практическое значение для чтения и перевода с помощью камеры.
Глубинное обучение улучшило оба этапа. В статье о распознавании текста в сценах 2015 были объединены сверточные признаки изображения, рекуррентная обработка последовательностей и транскрипция в одну обучаемую систему распознавания. Вместо того чтобы рассматривать извлечение признаков и чтение как полностью отдельные компоненты, созданные вручную, исследователи смогли оптимизировать их вместе. Этот подход также позволял обрабатывать слова разной длины без предварительного выделения каждой буквы.
Бенчмарки все чаще отражали неконтролируемые условия съемки. Конкурс по распознаванию текста в сценах ICDAR 2015 добавил случайный текст из сцен, расширив оценку за пределы изображений, намеренно сфокусированных на читаемых словах. Это стимулировало создание систем, способных справляться с текстом, который люди встречают на повседневных фотографиях. Это также прояснило, что производительность на чистых отсканированных документах не полностью описывает возможности системы в более широком визуальном мире.
Синтетические обучающие данные и многоязычные бенчмарки расширяют охват
Более совершенные методы обучения также требовали более разнообразных примеров. Синтетические обучающие изображения позволили исследователям генерировать текст с разными шрифтами, размерами, цветами и фонами без ручной разметки каждой новой фотографии. Исследование Оксфорда, опубликованное в 2016, помещало искусственный текст в реальные сцены с учетом их геометрии, предоставляя большие объемы обучающего материала для обнаружения текста. Сгенерированные примеры дополняли реальные изображения, упрощая создание специфических вариаций в больших масштабах.
Многоязычная оценка развивалась параллельно. Многоязычный конкурс ICDAR 2017 включал девять языков, представляющих шесть систем письма; его преемник 2019 добавил еще один язык и задачу сквозного распознавания. Эти бенчмарки объединили смешанные системы письма, разные ориентации и более широкий спектр письменностей в общих условиях оценки.
Более широкий урок заключался в том, что языковая поддержка включает в себя гораздо больше, чем просто добавление символов в алфавит. Системам требовались подходящие обучающие примеры и методы, способные справляться с различными структурами символов, связным письмом и направлениями чтения. Общие наборы данных облегчили измерение таких различий, одновременно выявляя разрывы между производительностью на хорошо представленных языках и на менее знакомых материалах.
Механизмы внимания и обучение с учетом макета связывают слова со структурой страницы
Архитектура трансформеров, представленная в 2017 для языковых задач, предоставила мощный способ моделирования отношений внутри последовательности с помощью внимания. Её важность для OCR развивалась благодаря последующим применениям в распознавании текста и анализе документов. Внимание позволило системе взвешивать релевантные части входных данных при создании результата, добавив еще один подход наряду со сверточными и рекуррентными сетями.
Исследование документов также выходило за рамки простой расшифровки. В исследовании, представленном в декабре 2019 и опубликованном в 2020, распознанный текст объединялся с его положением на странице во время предварительного обучения, а затем при адаптации системы к конкретным задачам с документами учитывались визуальные признаки. Расположение имело значение, поскольку одни и те же слова могли играть разные роли в заголовке, блоке адреса или строке формы.
Это помогло связать распознавание с такими задачами, как классификация документов и извлечение информации. Чтение числа и определение его как общей суммы счета — это связанные, но разные операции; структура страницы дает подсказки для второй. Методы, учитывающие макет, не сделали OCR ненужным. Они предложили способы использования его результатов вместе с окружающими визуальными данными, переводя обработку документов от простого потока слов к связям между элементами.
Трансформеры читают текст и создают результаты по документам напрямую
К 2021 году исследователи применяли предварительно обученные трансформеры изображений и текста непосредственно для распознавания. Один из опубликованных подходов сочетал кодировщик изображений с декодером текста и оценивал печатный, рукописный и «сценарный» текст. Предварительное обучение на больших коллекциях с последующим обучением для более конкретной задачи предложило еще один путь к изучению визуальных паттернов и созданию связных последовательностей символов или слов.
Отдельное направление работы исследовало создание структурированных результатов по документам из изображений без предварительного запуска независимого обычного движка OCR. Исследование, представленное в конце 2021 года и пересмотренное в 2022, продемонстрировало этот подход для понимания документов. Термин «без OCR» в той работе описывает отсутствие отдельного этапа OCR; системе все равно приходится извлекать соответствующую письменную информацию из изображения.
Эти разработки расширили доступные архитектуры. Система обработки может распознать текст, а затем проанализировать его, или обучить модель для прямого получения требуемого результата. Ни один из вариантов не гарантирует точный вывод на каждой странице. Выбор меняет то, где могут возникнуть ошибки, как проверяются результаты и насколько легко можно сохранить промежуточные данные, такие как распознанные слова и их позиции.
Мультимодальные системы расширяют возможности чтения документов и ставят новые задачи
Современные мультимодальные системы сочетают обработку изображений и генерацию языка, позволяя тексту документа участвовать в более широких взаимодействиях. В зависимости от системы и задачи пользователь может запросить расшифровку, задать вопрос о странице или извлечь определенные поля. Распознавание все чаще становится частью более крупного рабочего процесса с документами, в то время как специализированный OCR остается полезным, когда основное требование — точная, поддающаяся проверке расшифровка.
Оценка также расширилась. OCRBench, представленный в 2023, рассматривал распознавание наряду с вопросами по документам, извлечением информации и рукописными математическими выражениями. Его преемник, выпущенный в конце 2024 года и пересмотренный в 2025, исследовал более широкий набор задач по визуальному тексту и рассуждению. Сообщаемые ограничения включали мелкие детали, макет, сложные элементы и менее знакомый текст, что показывает, почему одно утверждение о точности не может охватить все требования к чтению документов.
Эта более широкая функциональность также делает цель вывода более важной. Полезное объяснение может перефразировать, в то время как точная расшифровка должна сохранять то, что на самом деле написано на странице. Беглая формулировка не может подтвердить, что имя, сумма или цитата были прочитаны правильно. Системам нужна оценка, соответствующая задаче, будь то точность символов, порядок чтения, структура таблицы или правильность извлеченного поля.
На протяжении столетия направление прогресса шло к менее контролируемому вводу и более полезному выводу: от предписанных символов до обычного шрифта, рукописного текста, фотографий и сложных документов. Новые подходы продолжают присоединяться к уже существующим. Центральная задача остается прежней: превращение визуальных данных в надежную информацию при сохранении важных деталей.