Світло, звук і перші підходи до машинного читання
Деякі витоки OCR лежать у спробах зробити друковані матеріали доступними для незрячих читачів. У 1914 році Е. Е. Фурньє д'Альб описав оптофон для читання друкованого тексту, який перетворював світлові візерунки зі сторінки на звукові сигнали. Слухач вчився інтерпретувати ці сигнали. Це був оптичний допоміжний засіб для читання, а не машина, що автоматично створювала текстову транскрипцію, але він продемонстрував, що друковані знаки можна розпізнати та представити в іншій формі.
Інші винахідники займалися автоматичною ідентифікацією символів. Патент на читальну машину Густава Таушека, поданий у 1928 році та опублікований у 1930 році, ілюстрував фотоелектричне порівняння з шаблонами символів. У прикладі з читанням цифр використовувалися обертові вирізи для перевірки форми, представленої пристрою. Ці підходи об'єднали оптику, механічний рух і електричне зондування задовго до того, як цифрові комп'ютери загального призначення стали звичним явищем.
Розмежування між виявленням знака та ідентифікацією символу залишалося центральним для OCR. Захоплення сторінки було лише початком: корисний зчитувач також повинен був розрізняти схожі форми та виражати своє рішення у формі, яку міг використати інший пристрій.
Зчитувачі символів входять у бізнес-процеси
Протягом 1950-х років автоматичне читання наблизилося до повсякденної бізнес-обробки. Патент Девіда Шепарда на апарат для читання був поданий у 1951 році та виданий у 1953 році. Сучасне дослідження Національного бюро стандартів зафіксувало виробничу установку в Reader's Digest у 1955 році. Такі системи вирішували практичну проблему: інформацію, вже надруковану на папері, інакше доводилося вводити вручну, перш ніж комп'ютер міг її обробити.
Ці зчитувачі зазвичай працювали в набагато вужчих умовах, ніж сучасні загальні інструменти для документів. Обмежений набір символів, передбачуваний друк і контрольоване розміщення робили проблему розпізнавання більш керованою. Сканер, обладнання для розпізнавання та механізм виводу були розроблені як скоординована система, часто для певного класу документів.
Це була суттєва зміна в меті та масштабах. Оптичне читання ставало методом введення даних для бізнес-обчислень. Успіх залежав від послідовної обробки визначеного обсягу роботи, а не від демонстрації того, що машина може розпізнати кілька символів у лабораторних умовах.
Стандартизовані шрифти полегшують розпізнавання друкованого тексту
Одним зі способів покращення розпізнавання було зробити вхідні дані більш передбачуваними. Машинозчитувані шрифти, такі як OCR-A та OCR-B, використовували визначені форми символів і вимоги до друку, зменшуючи варіативність, з якою мав справу зчитувач. OCR-B з'явився у стандарті ECMA-11 у 1965 році, а пізніші видання вдосконалили специфікацію. Стандартизація допомогла обладнанню та друкованим документам працювати разом більш узгоджено.
Цей підхід поклав частину інженерних зусиль на сам документ. Щільно контрольований шрифт міг зробити цифру легшою для відрізнення від іншої цифри, тоді як задані розміри та інтервали зменшували невизначеність під час сканування. Компромісом була гнучкість: зчитувач, розроблений для контрольованого друку, не міг автоматично обробляти кожну газету, книгу чи рукописну нотатку.
Оптичне розпізнавання символів також слід відрізняти від розпізнавання символів магнітним чорнилом, або MICR. Обидва підтримували автоматизацію документів, але MICR зчитує магнітно-зчитувані символи, тоді як OCR інтерпретує їхнє видиме зображення. Ці дві технології розвивалися паралельно; це не різні назви одного й того самого процесу читання.
Omnifont-розпізнавання робить звичайний друк доступним
Наступною метою було читання матеріалів, які не були надруковані спеціально для машини. Omnifont-розпізнавання мало на меті обробку низки звичайних шрифтів, зменшуючи залежність від єдиного встановленого алфавіту. Назва описувала цей напрямок прогресу; це не означало, що кожен шрифт, скан або макет сторінки можна було прочитати без помилок.
Визначною віхою стала читальна машина, представлена Реєм Курцвейлом та його командою 13 січня 1976 року. У своїй усній історії для Американського фонду для незрячих Курцвейл описує поєднання сканування, розпізнавання символів і синтезованого мовлення. Разом ці компоненти дозволили перетворити друкований матеріал на мовний вивід, поєднуючи розпізнавання з повним досвідом читання.
Ті самі фундаментальні досягнення також підтримували комерційне введення даних. Цінність OCR все більше залежала від обробки існуючих документів, а не лише документів, розроблених з урахуванням обмежень зчитувача. Водночас ці системи показали, чому розпізнавання окремих літер було недостатнім: слова потрібно було зібрати в корисній послідовності, перш ніж їх можна було прочитати вголос або повторно використати.
Сканування та OCR стають частиною настільного робочого процесу
З розвитком персональних комп'ютерів і настільних сканерів OCR вийшло за межі спеціалізованих установок для читання. Оцінка настільних сканерів Агентством з охорони довкілля США у 1990 році вже розглядала розпізнавання тексту як практичну офісну можливість, порівнюючи обладнання та програмне забезпечення для перетворення паперу на корисні комп'ютерні файли. Сканування сторінки та перенесення її тексту в текстовий процесор стало дедалі доступнішим робочим процесом.
Програмне забезпечення мало робити більше, ніж класифікувати окремі символи. Воно повинно було відокремлювати текст від зображень, ідентифікувати рядки та стовпці, компенсувати нахили сканів і вирішувати, як представити сторінку в редагованому документі. Очищення зображень, аналіз макета, словники та контекстні перевірки стали важливими частинами загального процесу розпізнавання. Сторінка могла містити переважно правильні літери, але все одно потребувати суттєвого виправлення, якщо її стовпці були перемішані.
Впровадження PDF у 1993 додало портативний спосіб обміну документами на основі сторінок. PDF був форматом документа, а не методом розпізнавання, але він забезпечив корисне середовище для відсканованих сторінок і пов'язаного з ними тексту. Збереження вигляду сторінки та забезпечення можливості пошуку її вмісту тепер могли стати взаємодоповнюючими цілями.
Дослідження рукописного тексту та нейронні мережі змінюють розпізнавання
Поряд із впровадженням настільних систем дослідники вдосконалювали розпізнавання менш передбачуваного письма. Програма NIST OCR з 1989 по 1998 включала рукописні форми та заяви за участю Бюро перепису населення США та IRS. Публічні набори даних і еталонні системи уможливили порівняння методів на спільних прикладах, замість того, щоб покладатися лише на демонстрації з ретельно відібраними сторінками.
Нейронне розпізнавання вже було важливою частиною цієї роботи. У статті 1998 «Gradient-Based Learning Applied to Document Recognition» описано згорткові мережі, які вивчали корисні візуальні ознаки на прикладах, разом із методами поєднання розпізнавання, сегментації та мовних обмежень. Це розширило ширшу історію статистичного розпізнавання образів; ранні OCR також включали методи, що виходили за межі простого порівняння з шаблонами.
Навчання на прикладах запропонувало спосіб врахування варіацій у штрихах і формах символів. Це також зробило навчальні дані та оцінку важливішими. Система могла добре працювати з окремими рукописними цифрами, але мати труднощі зі зв'язним рукописним текстом або незнайомими формами. Прогрес у одному завданні розпізнавання був цінним, навіть якщо він не вирішував автоматично всі інші типи документів.
Великі цифрові колекції перетворюють OCR на інструмент пошуку
Проєкти оцифрування розширили роль OCR від повторного використання сторінки до пошуку інформації в цілих колекціях. Бібліотеки та архіви могли зберігати зображення газет, книг і записів, індексуючи їхній розпізнаний текст. Бібліотека Конгресу запустила Chronicling America у березні 2007, надавши дослідникам ресурс для пошуку в історичних газетах.
Це змінило підхід людей до архіву. Ім'я, місце чи фраза могли привести безпосередньо до відповідної сторінки, не вимагаючи від читача переглядати кожен випуск. OCR став частиною більшої системи сканування, метаданих, індексації та пошуку. Його корисність більше не вимірювалася лише тим, наскільки експортований документ нагадував свій оригінал.
Історичний матеріал також виявив постійні слабкі місця: пошкоджений папір, старі шрифти, нерівномірні інтервали та складні колонки. Помилки розпізнавання могли приховати відповідний результат пошуку або призвести до оманливого збігу. Збереження оригінальної сторінки поруч із машинно згенерованим текстом дозволяло читачам перевіряти відкриття, а вдосконалене розпізнавання стало способом збагачення існуючої цифрової колекції без повторного сканування кожного елемента.
Читання цілих послідовностей без розділення кожного символу
Давня складність у розпізнаванні рукописного тексту полягала у визначенні того, де закінчується один символ і починається наступний. Зв'язні штрихи та літери, що накладаються, робили суворий процес «розрізати, а потім класифікувати» крихким. Статистичні методи послідовностей, включаючи приховані марковські моделі, вже вирішували цю проблему. Рекурентні нейронні мережі запропонували інший спосіб використання сусідньої інформації під час інтерпретації рядка. Мережі довгої короткострокової пам'яті (LSTM), тип рекурентних мереж, допомогли зберегти контекст у послідовності, замість того, щоб оцінювати кожну невелику область незалежно.
Connectionist Temporal Classification (CTC), представлена в 2006, забезпечила метод навчання для зіставлення вхідних послідовностей із текстовими мітками без необхідності попереднього позначення позиції кожного символу. Оригінальна стаття оцінювала мовлення, тоді як подальша робота застосувала цей підхід до рукописного тексту. Стаття 2009 поєднала навчання послідовностей із рекурентними мережами, які використовували контекст з обох напрямків для розпізнавання не обмежених правилами рукописних рядків.
Це зменшило залежність від ідеальної сегментації посимвольно і допомогло зробити розпізнавання на рівні рядків більш практичним. Це не усунуло кожен підготовчий крок: системі все ще могло знадобитися знайти текст, ідентифікувати рядки та обробити орієнтацію сторінки. Важлива зміна полягала в тому, що розпізнавання могло вивчити вирівнювання між послідовністю зображення та його транскриптом, замість того, щоб отримувати межі кожного символу заздалегідь.
Глибоке навчання виводить OCR за межі планшетного сканера
Сфотографований текст знову розширив проблему. Квитанція на столі, вивіска магазину або сторінка, знята під кутом, можуть містити тіні, перспективні спотворення та відволікаючий фон. Перш ніж розпізнавати слова, система повинна була їх знайти. Тому виявлення тексту та розпізнавання тексту стали тісно пов'язаними дослідницькими завданнями, що мають практичне значення для читання та перекладу на основі камери.
Глибоке навчання покращило обидва етапи. Стаття про текст у сценах 2015 поєднала згорткові ознаки зображення, обробку рекурентних послідовностей і транскрипцію в одній системі розпізнавання, що піддається навчанню. Замість того, щоб розглядати вилучення ознак і читання як повністю окремі компоненти, створені вручну, дослідники могли оптимізувати їх разом. Цей підхід також обробляв слова різної довжини без попередньої ізоляції кожної літери.
Тести все частіше відображали неконтрольовані умови зйомки. Конкурс ICDAR Robust Reading Competition 2015 додав випадковий текст у сценах, розширивши оцінку за межі зображень, навмисно обрамлених навколо читабельних слів. Це заохотило створення систем, здатних впоратися з текстом, який люди зустрічають на повсякденних фотографіях. Це також дало зрозуміти, що продуктивність на чистих відсканованих документах не повністю описує можливості читача у ширшому візуальному світі.
Синтетичні навчальні дані та багатомовні тести розширюють охоплення
Кращі методи навчання також вимагали більш різноманітних прикладів. Синтетичні навчальні зображення дозволили дослідникам генерувати текст у різних шрифтах, розмірах, кольорах і фонах без ручного маркування кожної нової фотографії. Дослідження Оксфорда, опубліковане в 2016, розмістило штучний текст у реальних сценах з урахуванням їхньої геометрії, надавши велику кількість навчального матеріалу для виявлення тексту. Згенеровані приклади доповнили реальні зображення, полегшивши створення конкретних варіацій у великих масштабах.
Багатомовна оцінка розвивалася паралельно. Багатомовний виклик ICDAR 2017 включав дев'ять мов, що представляють шість писемностей; його наступник 2019 додав мову та завдання наскрізного розпізнавання. Ці тести привнесли змішані писемності, різні орієнтації та ширший спектр систем письма у спільне середовище оцінювання.
Ширший урок полягав у тому, що підтримка мови передбачала набагато більше, ніж просто додавання символів до алфавіту. Системи потребували відповідних навчальних прикладів і методів, здатних впоратися з різними структурами символів, зв'язним письмом і напрямками читання. Спільні набори даних полегшили вимірювання таких відмінностей, одночасно виявляючи розриви між продуктивністю на добре представлених мовах і на менш знайомому матеріалі.
Навчання з урахуванням уваги та макета пов'язує слова зі структурою сторінки
Архітектура трансформера, представлена в 2017 для мовних завдань, забезпечила потужний спосіб моделювання зв'язків у послідовності через механізм уваги. Її важливість для OCR розвивалася завдяки пізнішим застосуванням до розпізнавання тексту та аналізу документів. Увага дозволила системі зважувати відповідні частини вхідних даних під час створення результату, додаючи ще один підхід поряд із згортковими та рекурентними мережами.
Дослідження документів також виходило за межі простої транскрипції. У дослідженні, поданому в грудні 2019 і опублікованому в 2020, розпізнаний текст поєднувався з його розташуванням на сторінці під час попереднього навчання, а потім, під час адаптації системи до конкретних завдань з документами, додавалися візуальні ознаки. Розташування мало значення, оскільки одні й ті самі слова могли відігравати різні ролі в заголовку, блоці адреси або рядку форми.
Це допомогло пов'язати розпізнавання з такими завданнями, як класифікація документів та вилучення інформації. Читання числа та ідентифікація його як загальної суми рахунку — це пов'язані, але різні операції; структура сторінки дає підказки для другого. Методи, що враховують макет, не зробили OCR непотрібним. Вони запропонували способи використання результатів його роботи разом із навколишніми візуальними доказами, спрямовуючи обробку документів у бік взаємозв'язків між елементами, а не простого потоку слів.
Трансформери читають текст і генерують результати документів безпосередньо
До 2021 року дослідники застосовували попередньо навчені трансформери зображень і тексту безпосередньо для розпізнавання. Один із опублікованих підходів поєднував кодувальник зображень із декодером тексту та оцінював друкований, рукописний і сценічний текст. Попереднє навчання на великих колекціях, за яким слідувало навчання для більш конкретного завдання, запропонувало інший шлях до вивчення візуальних патернів і створення послідовностей символів або слів, що узгоджуються між собою.
Окремий напрямок роботи досліджував створення структурованих результатів документів із зображень без попереднього запуску незалежного звичайного механізму OCR. Дослідження, представлене наприкінці 2021 року та переглянуте в 2022 році, продемонструвало цей підхід для розуміння документів. Термін «без OCR» у цій роботі описує відсутність окремого етапу OCR; система все одно повинна отримати відповідну письмову інформацію із зображення.
Ці розробки розширили доступні архітектури. Система обробки може розпізнати текст, а потім проаналізувати його, або навчити модель створювати запитуваний результат безпосередньо. Жоден із варіантів не гарантує точного виводу на кожній сторінці. Вибір змінює те, де можуть виникати помилки, як перевіряються результати та наскільки легко можна зберегти проміжні докази, такі як розпізнані слова та їхні позиції.
Мультимодальні системи розширюють можливості читання документів і створюють нові випробування
Сучасні мультимодальні системи поєднують обробку зображень і генерацію мови, дозволяючи тексту документа брати участь у ширших взаємодіях. Залежно від системи та завдання, користувач може запросити транскрипцію, поставити запитання щодо сторінки або вилучити певні поля. Розпізнавання все частіше стає частиною ширшого робочого процесу з документами, тоді як спеціалізоване OCR залишається корисним, коли головною вимогою є точна транскрипція, яку можна перевірити.
Оцінювання також відповідно розширилося. OCRBench, представлений у 2023 році, розглядав розпізнавання поряд із запитаннями щодо документів, вилученням інформації та рукописними математичними виразами. Його наступник, випущений наприкінці 2024 року та переглянутий у 2025 році, досліджував ширший набір візуального тексту та завдань на логічне мислення. Повідомлені обмеження включали дрібні деталі, макет, складні елементи та менш знайомий текст, що показує, чому одна заява про точність не може охопити всі вимоги до читання документів.
Ця ширша можливість також робить мету виводу важливішою. Корисне пояснення може перефразувати, тоді як точна транскрипція повинна зберегти те, що насправді написано на сторінці. Вільне формулювання не може підтвердити, що ім'я, сума чи цитата були прочитані правильно. Системи потребують оцінювання, що відповідає завданню, незалежно від того, чи означає це точність символів, порядок читання, структуру таблиці чи правильність вилученого поля.
Протягом століття напрямок прогресу був спрямований на менш контрольоване введення та більш корисне виведення: від визначених символів до звичайного друку, рукописного тексту, фотографій і складних документів. Нові підходи продовжують приєднуватися до вже встановлених. Центральний виклик залишається впізнаваним: перетворення візуальних доказів на надійну інформацію зі збереженням деталей, які мають значення.