Светлина, звук и първите подходи към машинното четене
Някои от корените на OCR се крият в опитите да се направи печатното съдържание достъпно за незрящи читатели. През 1914 г. Е. Е. Фурние д'Алб описва оптофон за четене на текст, който преобразува светлинни модели от страница в звукови сигнали. Слушателят се е учил да интерпретира тези сигнали. Това е било оптично помощно средство за четене, а не машина, която автоматично създава текстов транскрипт, но то демонстрира, че печатните знаци могат да бъдат усетени и представени в друга форма.
Други изобретатели преследват автоматична идентификация на символи. Патентът за четяща машина на Густав Таушек, подаден през 1928 г. и публикуван през 1930 г., илюстрира фотоелектрическо сравнение с шаблони на символи. Неговият пример за четене на цифри използва въртящи се изрези, за да тества формата, представена на устройството. Тези подходи обединяват оптика, механично движение и електрическо отчитане много преди цифровите компютри с общо предназначение да станат масово явление.
Разликата между откриването на знак и идентифицирането на символ остава централна за OCR. Заснемането на страницата е било само началото: полезният четец е трябвало също да различава сходни форми и да изрази решението си във форма, която друго устройство може да използва.
Четците на символи навлизат в бизнес операциите
През 1950-те години автоматичното четене се доближи до ежедневната бизнес обработка. Патентът за четящо устройство на Дейвид Шепърд е подаден през 1951 г. и издаден през 1953 г. Съвременно проучване на Националното бюро по стандарти регистрира инсталация за производство в Reader's Digest през 1955 г. Такива системи решават практически проблем: информацията, вече отпечатана на хартия, иначе е трябвало да бъде въвеждана отново от човек, преди компютър да може да я обработи.
Тези четци обикновено работят при много по-тесни условия от днешните инструменти за общи документи. Ограничен набор от символи, предвидим печат и контролирано разположение правят проблема с разпознаването по-лесен за управление. Скенерът, хардуерът за разпознаване и механизмът за извеждане са проектирани като координирана система, често за определен клас документи.
Това е значителна промяна в целта и мащаба. Оптичното четене се превръща в метод за въвеждане на данни за бизнес изчисления. Успехът зависи от последователната обработка на определен обем работа, а не от демонстрирането, че една машина може да разпознае няколко символа в лабораторни условия.
Стандартизираните шрифтове правят печатния текст по-лесен за разпознаване
Един от начините за подобряване на разпознаването е входните данни да станат по-предвидими. Машинно четими шрифтове като OCR-A и OCR-B използват специфични форми на символите и изисквания за печат, намалявайки вариациите, с които четецът трябва да се справи. OCR-B се появява в стандарта ECMA-11 през 1965 г., като по-късните издания прецизират спецификацията. Стандартизацията помага на оборудването и печатните документи да работят заедно по-последователно.
Този подход поставя част от инженерните усилия върху самия документ. Плътно контролиран шрифт може да направи цифрата по-лесна за разграничаване от друга цифра, докато определените размери и разстояния намаляват несигурността по време на сканиране. Компромисът е гъвкавостта: четец, проектиран около контролиран печат, не може автоматично да обработи всеки вестник, книга или ръкописна бележка.
Оптичното разпознаване на символи трябва също да се разграничава от разпознаването на символи с магнитно мастило, или MICR. И двете поддържат автоматизацията на документи, но MICR отчита магнитно четими символи, докато OCR интерпретира тяхното видимо изображение. Двете технологии се развиват паралелно; те не са различни имена за един и същ процес на четене.
Omnifont разпознаването прави обикновения печат достъпен
Следващата амбиция е да се чете материал, който не е отпечатан специално за машина. Omnifont разпознаването има за цел да се справи с редица обикновени шрифтове, намалявайки зависимостта от една предписана азбука. Името описва тази посока на прогрес; то не означава, че всеки шрифт, сканиране или оформление на страница може да бъде прочетено без грешка.
Виден етап е четящата машина, представена от Рей Кърцвайл и неговия екип на 13 януари 1976 г. В своята устна история за Американската фондация за слепи, Кърцвайл описва комбинацията от сканиране, разпознаване на символи и синтезирана реч. Заедно тези компоненти позволяват на печатния материал да се превърне в говор, свързвайки разпознаването с пълноценно изживяване при четене.
Същите основни постижения подкрепят и търговското въвеждане на данни. Стойността на OCR все повече зависи от обработката на съществуващи документи, а не само на документи, проектирани около ограниченията на четеца. В същото време тези системи показват защо разпознаването на отделни букви е недостатъчно: думите трябва да бъдат сглобени в полезен ред, преди да могат да бъдат прочетени на глас или използвани повторно.
Сканирането и OCR стават част от работния процес на настолния компютър
С развитието на персоналните компютри и настолните скенери, OCR излиза извън рамките на специализираните инсталации за четене. Оценка на настолни скенери от Агенцията за опазване на околната среда на САЩ от 1990 г. вече третира разпознаването на текст като практическа офис възможност, сравнявайки оборудване и софтуер за преобразуване на хартия в използваеми компютърни файлове. Сканирането на страница и прехвърлянето на нейния текст в текстообработваща програма се превръща във все по-достъпен работен процес.
Софтуерът трябва да прави повече от това да класифицира изолирани символи. Той трябва да отделя текста от снимките, да идентифицира редове и колони, да компенсира наклонени сканирания и да реши как да представи страницата в редактируем документ. Почистването на изображения, анализът на оформлението, речниците и контекстуалните проверки стават важни части от цялостния процес на разпознаване. Една страница може да съдържа предимно правилни букви, но все пак да изисква значителна поправка, ако колоните ѝ са смесени.
Въвеждането на PDF в 1993 добави преносим начин за обмен на документи, базирани на страници. PDF беше файлов формат, а не метод за разпознаване, но осигури полезна среда за сканирани страници и свързания с тях текст. Запазването на външния вид на страницата и превръщането на съдържанието ѝ в търсимо вече можеха да бъдат допълващи се цели.
Изследванията на ръкописен текст и невронните мрежи променят разпознаването
Наред с навлизането на настолните компютри, изследователите подобряваха разпознаването на по-непредвидим текст. Програмата OCR на NIST от 1989 до 1998 включваше ръкописни формуляри и заявления, включващи Бюрото за преброяване на населението на САЩ и IRS. Публичните набори от данни и референтните системи направиха възможно сравняването на методите чрез споделени примери, вместо да се разчита само на демонстрации с внимателно подбрани страници.
Невронното разпознаване вече беше важна част от тази работа. Статията 1998 „Gradient-Based Learning Applied to Document Recognition“ описва конволюционни мрежи, които се учат да извличат полезни визуални характеристики от примери, заедно с методи за комбиниране на разпознаване, сегментиране и езикови ограничения. Това разшири по-широката история на статистическото разпознаване на образи; по-ранните OCR също включваха методи извън простото съпоставяне с шаблони.
Ученето от примери предложи начин за справяне с вариациите в щрихите и формите на знаците. Това също направи данните за обучение и оценката по-важни. Една система можеше да се представя добре при изолирани ръкописни цифри, но да се затруднява със свързан ръкописен текст или непознати формуляри. Напредъкът в една задача за разпознаване беше ценен, без автоматично да решава всеки друг вид документ.
Големите дигитални колекции превръщат OCR в инструмент за откриване
Проектите за дигитализация разшириха ролята на OCR от повторно използване на страница до откриване на информация в цели колекции. Библиотеките и архивите можеха да съхраняват изображения на вестници, книги и записи, докато индексират разпознатия им текст. Библиотеката на Конгреса стартира „Chronicling America“ през март 2007, предоставяйки на изследователите търсим ресурс за исторически вестници.
Това промени начина, по който хората подхождат към архивите. Име, място или фраза можеха да доведат директно до съответната страница, без да е необходимо читателят да преглежда всеки брой. OCR стана част от по-голяма система за сканиране, метаданни, индексиране и извличане. Полезността му вече не се измерваше само според това колко точно един експортиран документ прилича на своя източник.
Историческият материал също разкри постоянни слабости: повредена хартия, стари шрифтове, неравномерно разстояние и сложни колони. Грешките при разпознаването можеха да скрият подходящ резултат от търсенето или да доведат до подвеждащо съвпадение. Запазването на оригиналната страница заедно с машинно генерирания текст позволяваше на читателите да проверяват откритията и направи подобреното разпознаване начин за обогатяване на съществуваща дигитална колекция без повторно сканиране на всеки елемент.
Четене на цели последователности без разделяне на всеки знак
Дългогодишна трудност при разпознаването на ръкописен текст беше определянето къде свършва един знак и къде започва следващият. Свързаните щрихи и припокриващите се букви правеха процеса на стриктно „отрязване и класифициране“ крехък. Статистическите методи за последователности, включително скритите модели на Марков, вече се справяха с този проблем. Рекурентните невронни мрежи предложиха друг начин за използване на съседна информация при интерпретиране на ред. Мрежите с дълга кратковременна памет (LSTM), вид рекурентна мрежа, помогнаха за запазване на контекста в рамките на последователност, вместо да се оценява всяка малка област независимо.
Connectionist Temporal Classification (CTC), въведен през 2006, предостави метод за обучение за съпоставяне на входни последователности с текстови етикети, без да е необходимо позицията на всеки знак да бъде маркирана предварително. Оригиналната статия оценяваше реч, докато последващи работи приложиха подхода към ръкописния текст. Статия от 2009 комбинира обучение на последователности с рекурентни мрежи, които използват контекст от двете посоки за разпознаване на неограничени ръкописни редове.
Това намали зависимостта от перфектно сегментиране знак по знак и помогна за по-практичното разпознаване на ниво ред. Това не премахна всяка подготвителна стъпка: системата все още можеше да се нуждае от локализиране на текста, идентифициране на редове и справяне с ориентацията на страницата. Важната промяна беше, че разпознаването можеше да научи подравняване между последователност от изображения и нейния транскрипт, вместо да получава границите на всеки знак предварително.
Дълбокото обучение извежда OCR извън плоския скенер
Фотографираният текст отново разшири проблема. Касова бележка на бюро, табела на магазин или страница, заснета под ъгъл, могат да съдържат сенки, перспективно изкривяване и разсейващ фон. Преди да разпознае думите, системата трябваше да ги намери. Следователно откриването на текст и разпознаването на текст се превърнаха в тясно свързани изследователски задачи с практическо значение за четенето и превода чрез камера.
Дълбокото обучение подобри и двата етапа. Статия за текст в сцени 2015 комбинира конволюционни характеристики на изображението, рекурентна обработка на последователности и транскрипция в една система за обучение. Вместо да третират извличането на характеристики и четенето като напълно отделни ръчно изработени компоненти, изследователите можеха да ги оптимизират заедно. Подходът също така се справяше с думи с различна дължина, без първо да изолира всяка буква.
Бенчмарковете все повече отразяваха неконтролирани условия на заснемане. Състезанието за стабилно четене ICDAR 2015 добави случаен текст от сцени, разширявайки оценката извън изображения, умишлено рамкирани около четливи думи. Това насърчи системи, които могат да се справят с текста, който хората срещат в ежедневните снимки. Също така стана ясно, че представянето върху чисти сканирани документи не описва напълно способностите на четеца в по-широкия визуален свят.
Синтетичните данни за обучение и многоезичните бенчмаркове разширяват обхвата
По-добрите методи за обучение изискваха и по-разнообразни примери. Синтетичните изображения за обучение позволиха на изследователите да генерират текст с различни шрифтове, размери, цветове и фонове, без ръчно да етикетират всяка нова снимка. Изследване от Оксфорд, публикувано през 2016, постави изкуствен текст в реални сцени, отчитайки тяхната геометрия, осигурявайки големи количества материал за обучение за откриване на текст. Генерираните примери допълниха реалните изображения, като направиха конкретни вариации по-лесни за производство в мащаб.
Многоезичната оценка се разшири паралелно. Многоезичното предизвикателство ICDAR 2017 включваше девет езика, представляващи шест писмености; неговият наследник от 2019 добави език и задача за разпознаване от край до край. Тези бенчмаркове въведоха смесени писмености, различни ориентации и по-широк спектър от системи за писане в обща среда за оценка.
По-широкият урок беше, че езиковата поддръжка включва много повече от добавяне на знаци към азбука. Системите се нуждаеха от подходящи примери за обучение и методи, които могат да се справят с различни структури на знаците, свързано писане и посоки на четене. Споделените набори от данни направиха такива разлики по-лесни за измерване, като същевременно разкриха пропуски между представянето при добре представени езици и при по-малко познат материал.
Вниманието и обучението, съобразено с оформлението, свързват думите със структурата на страницата
Трансформаторната архитектура, въведена през 2017 за езикови задачи, предостави мощен начин за моделиране на връзки в рамките на последователност чрез внимание. Нейното значение за OCR се разви чрез по-късни приложения за разпознаване на текст и анализ на документи. Вниманието позволи на системата да претегля съответните части от своя вход, докато генерира резултат, добавяйки още един подход наред с конволюционните и рекурентните мрежи.
Изследванията на документи също гледаха отвъд обикновената транскрипция. Проучване, представено през декември 2019 и публикувано през 2020, комбинира разпознатия текст с неговата позиция на страницата по време на предварителното обучение, след което включи визуални характеристики при адаптирането на системата към специфични задачи за документи. Местоположението имаше значение, тъй като едни и същи думи могат да играят различни роли в заглавие, адресна секция или ред от формуляр.
Това помогна за свързването на разпознаването със задачи като класификация на документи и извличане на информация. Четенето на число и идентифицирането му като обща сума по фактура са свързани, но различни операции; структурата на страницата предоставя улики за втората. Методите, съобразени с оформлението, не направиха OCR ненужен. Те предложиха начини за използване на неговия изход заедно със заобикалящите визуални доказателства, придвижвайки обработката на документи към връзки между елементите, вместо към един поток от думи.
Трансформърите четат текст и генерират резултати от документи директно
До 2021 изследователите прилагаха предварително обучени трансформъри за изображения и текст директно към разпознаването. Един публикуван подход сдвои енкодер за изображения с декодер за текст и оцени печатни, ръкописни и текстове от сцени. Предварителното обучение върху големи колекции, последвано от обучение за по-специфична задача, предложи друг път към научаване на визуални модели и създаване на последователни поредици от знаци или думи.
Отделна линия от работа изследва генерирането на структурирани резултати от документи от изображения, без първо да се стартира независим конвенционален OCR двигател. Изследване, представено в края на 2021 и преработено през 2022, демонстрира този подход за разбиране на документи. Терминът OCR-free в тази работа описва отсъствието на отделен OCR етап; системата все още трябва да извлече съответната писмена информация от изображението.
Тези разработки разшириха наличните архитектури. Една система за обработка може да разпознае текст и след това да го анализира, или да обучи модел да произведе заявен резултат директно. Нито една от подредбите не гарантира верен изход на всяка страница. Изборът променя къде могат да възникнат грешки, как се проверяват резултатите и колко лесно могат да бъдат запазени междинните доказателства, като разпознати думи и техните позиции.
Мултимодалните системи разширяват четенето на документи и поставят нови тестове
Скорошните мултимодални системи комбинират обработка на изображения и генериране на език, позволявайки на текста в документите да участва в по-широки взаимодействия. В зависимост от системата и задачата, потребителят може да поиска транскрипция, да зададе въпрос относно страница или да извлече конкретни полета. Разпознаването все повече се вписва в по-голям работен процес за документи, докато специализираният OCR остава полезен, когато основното изискване е прецизна, подлежаща на проверка транскрипция.
Оценяването се разшири съответно. OCRBench, въведен през 2023, разглежда разпознаването заедно с въпроси за документи, извличане на информация и ръкописни математически изрази. Неговият наследник, пуснат в края на 2024 и преработен през 2025, изследва по-широк набор от визуални текстови и логически задачи. Докладваните ограничения включват фини детайли, оформление, сложни елементи и по-малко познат текст, което показва защо едно твърдение за точност не може да обхване всяко изискване за четене на документи.
Тази по-широка възможност също прави целта на изхода по-важна. Едно полезно обяснение може да перифразира, докато вярната транскрипция трябва да запази това, което страницата действително казва. Свободната формулировка не може да установи дали име, сума или цитат са прочетени правилно. Системите се нуждаят от оценка, подходяща за задачата, независимо дали това означава точност на знаците, ред на четене, структура на таблицата или правилност на извлечено поле.
През века посоката на прогреса е била към по-малко контролиран вход и по-полезен изход: от предписани знаци до обикновен печат, ръкопис, снимки и сложни документи. Новите подходи продължават да се присъединяват към утвърдените. Централното предизвикателство остава разпознаваемо: превръщане на визуалните доказателства в надеждна информация, като същевременно се запазват детайлите, които имат значение.