Viac ako storočie pokroku

Vývoj OCR: storočie strojového čítania

Optické rozpoznávanie znakov neprišlo ako jediný prelom. Vyvíjalo sa prostredníctvom čítacích pomôcok, špecializovaných obchodných strojov, stolového softvéru a čoraz schopnejších učiacich sa systémov. Každá generácia rozšírila druhy strán, ktoré stroj dokázal prečítať, a možnosti, čo ľudia mohli s výsledkom robiť. Táto časová os sleduje tento vývoj v poradí, s prekrývajúcimi sa obdobiami, počas ktorých napredovalo niekoľko prístupov súčasne.

Čas čítania: 12 min.Preskúmajte časovú os

Tri vlákna históriou OCR

  • Pokrok vyplynul zo spoločného pôsobenia lepšieho snímania obrazu, metód rozpoznávania, tréningových údajov a analýzy rozloženia dokumentov.

  • OCR sa rozšírilo z kontrolovaných tlačených znakov na rukopis, snímky z fotoaparátu, viacero písiem a štruktúrované dokumenty.

  • Novšie metódy rozširujú možnosti, zatiaľ čo verný prepis a spoľahlivé vyhodnotenie zostávajú nevyhnutné.

1910–1930 roky

Svetlo, zvuk a prvé prístupy k strojovému čítaniu

Niektoré korene OCR ležia v pokusoch sprístupniť tlač nevidiacim čitateľom. V roku 1914 opísal E. E. Fournier d'Albe optofón na čítanie písma, ktorý premieňal vzory svetla zo strany na počuteľné signály. Poslucháč sa naučil tieto signály interpretovať. Išlo skôr o optickú čítaciu pomôcku než o stroj, ktorý by automaticky vytvoril textový prepis, ale demonštrovalo to, že tlačené značky možno snímať a reprezentovať v inej forme.

Iní vynálezcovia sa usilovali o automatickú identifikáciu znakov. Patent na čítací stroj Gustava Tauscheka, podaný v roku 1928 a zverejnený v roku 1930, ilustroval fotoelektrické porovnávanie so šablónami znakov. Jeho príklad čítania číslic využíval rotujúce výrezy na testovanie tvaru predloženého zariadeniu. Tieto prístupy spojili optiku, mechanický pohyb a elektrické snímanie dlho predtým, než sa stali bežnými univerzálne digitálne počítače.

Rozdiel medzi detekciou značky a identifikáciou znaku zostal pre OCR ústredným bodom. Zachytenie strany bolo len začiatkom: užitočná čítačka musela tiež rozlíšiť podobné tvary a vyjadriť svoje rozhodnutie vo forme, ktorú mohlo použiť iné zariadenie.

1950 roky

Čítačky znakov vstupujú do obchodných operácií

Počas 1950 rokov sa automatické čítanie priblížilo ku každodennému spracovaniu v podnikaní. Patent na čítacie zariadenie Davida Sheparda bol podaný v roku 1951 a vydaný v roku 1953. Súčasný prieskum Národného úradu pre štandardy zaznamenal inštaláciu v prevádzke Reader's Digest v roku 1955. Takéto systémy riešili praktické úzke hrdlo: informácie už vytlačené na papieri musel inak človek znova zadať, aby ich počítač mohol spracovať.

Tieto čítačky zvyčajne pracovali v oveľa užších podmienkach než dnešné všeobecné nástroje na dokumenty. Obmedzená sada znakov, predvídateľná tlač a kontrolované umiestnenie urobili problém rozpoznávania zvládnuteľnejším. Skener, hardvér na rozpoznávanie a výstupný mechanizmus boli navrhnuté ako koordinovaný systém, často pre konkrétnu triedu dokumentov.

Išlo o významnú zmenu v účele a rozsahu. Optické čítanie sa stávalo metódou vstupu pre podnikovú výpočtovú techniku. Úspech závisel od konzistentného spracovania definovanej pracovnej záťaže, a nie od demonštrácie toho, že stroj dokáže rozpoznať niekoľko znakov v laboratórnych podmienkach.

1960 roky

Štandardizované písma uľahčujú rozpoznávanie tlačeného textu

Jedným zo spôsobov, ako zlepšiť rozpoznávanie, bolo urobiť vstup predvídateľnejším. Strojovo čitateľné typy písma, ako napríklad OCR-A a OCR-B, používali špecifikované tvary znakov a požiadavky na tlač, čím sa znížila variabilita, ktorú musela čítačka zvládnuť. OCR-B sa objavilo v štandarde ECMA-11 v roku 1965, pričom neskoršie vydania špecifikáciu spresnili. Štandardizácia pomohla zariadeniu a tlačeným dokumentom spolupracovať konzistentnejšie.

Tento prístup preniesol časť inžinierskeho úsilia na samotný dokument. Pevne kontrolované písmo mohlo uľahčiť rozlíšenie jednej číslice od druhej, zatiaľ čo špecifikované rozmery a rozstupy znížili neistotu počas skenovania. Kompromisom bola flexibilita: čítačka navrhnutá na základe kontrolovanej tlače nedokázala automaticky spracovať každé noviny, knihu alebo rukou písanú poznámku.

Optické rozpoznávanie znakov by sa malo odlišovať aj od rozpoznávania znakov magnetickým atramentom, čiže MICR. Obe podporovali automatizáciu dokumentov, ale MICR sníma magneticky čitateľné znaky, zatiaľ čo OCR interpretuje ich viditeľný obraz. Obe technológie sa vyvíjali popri sebe; nie sú to rôzne názvy pre ten istý proces čítania.

1970 roky

Omnifontové rozpoznávanie sprístupňuje bežnú tlač

Ďalšou ambíciou bolo čítať materiál, ktorý nebol vytlačený špeciálne pre stroj. Omnifontové rozpoznávanie sa zameralo na zvládnutie radu bežných typov písma, čím sa znížila závislosť od jedinej predpísanej abecedy. Názov opisoval tento smer pokroku; neznamenalo to, že každé písmo, sken alebo rozloženie strany sa dalo prečítať bez chýb.

Významným míľnikom bol čítací stroj, ktorý predstavil Ray Kurzweil a jeho tím 13. januára 1976. Vo svojej ústnej histórii pre Americkú nadáciu pre nevidiacich Kurzweil opisuje kombináciu skenovania, rozpoznávania znakov a syntetizovanej reči. Tieto komponenty spoločne umožnili, aby sa tlačený materiál stal hovoreným výstupom, čím sa prepojilo rozpoznávanie s kompletným zážitkom z čítania.

Rovnaké základné pokroky podporili aj komerčné zadávanie údajov. Hodnota OCR čoraz viac závisela od spracovania existujúcich dokumentov, nielen dokumentov navrhnutých okolo obmedzení čítačky. Zároveň tieto systémy ukázali, prečo rozpoznávanie jednotlivých písmen nestačí: slová museli byť zostavené v užitočnom poradí, aby sa dali prečítať nahlas alebo opätovne použiť.

1980–1990 roky

Skenovanie a OCR sa stávajú súčasťou pracovného postupu na počítači

S rozvojom osobných počítačov a stolových skenerov sa OCR posunulo za hranice špecializovaných čítacích inštalácií. Hodnotenie stolových skenerov Agentúrou na ochranu životného prostredia USA z roku 1990 už považovalo rozpoznávanie textu za praktickú kancelársku schopnosť, pričom porovnávalo vybavenie a softvér na prevod papiera na použiteľné počítačové súbory. Skenovanie strany a prenos jej textu do textového procesora sa stalo čoraz dostupnejším pracovným postupom.

Softvér musel robiť viac než len klasifikovať izolované znaky. Musel oddeliť text od obrázkov, identifikovať riadky a stĺpce, kompenzovať naklonené skeny a rozhodnúť, ako reprezentovať stranu v upraviteľnom dokumente. Čistenie obrazu, analýza rozloženia, slovníky a kontextové kontroly sa stali dôležitými súčasťami celkového procesu rozpoznávania. Strana mohla obsahovať väčšinou správne písmená, a napriek tomu vyžadovať podstatnú opravu, ak boli jej stĺpce pomiešané.

Zavedenie PDF v 1993 pridalo prenosný spôsob výmeny dokumentov založených na stránkach. PDF bol formát dokumentu, nie metóda rozpoznávania, ale poskytol užitočný domov pre naskenované stránky a súvisiaci text. Zachovanie vzhľadu stránky a sprístupnenie jej obsahu vyhľadávaním sa teraz mohli stať doplnkovými cieľmi.

1989–1998

Výskum rukopisu a neurónové siete menia rozpoznávanie

Popri adopcii stolových počítačov výskumníci zlepšovali rozpoznávanie menej predvídateľného písma. Program NIST OCR od 1989 do 1998 zahŕňal ručne písané formuláre a aplikácie zahŕňajúce americký úrad pre sčítanie ľudu a IRS. Verejné súbory údajov a referenčné systémy umožnili porovnávať metódy na základe spoločných príkladov, namiesto spoliehania sa len na ukážky so starostlivo vybranými stránkami.

Neurónové rozpoznávanie už bolo dôležitou súčasťou tejto práce. Článok 1998 Gradient-Based Learning Applied to Document Recognition opísal konvolučné siete, ktoré sa učili užitočné vizuálne črty z príkladov, spolu s metódami na kombinovanie rozpoznávania, segmentácie a jazykových obmedzení. Toto rozšírilo širšiu históriu štatistického rozpoznávania vzorov; skoršie OCR tiež zahŕňali metódy nad rámec jednoduchého porovnávania šablón.

Učenie sa z príkladov ponúklo spôsob, ako sa prispôsobiť variáciám v ťahoch a tvaroch znakov. Taktiež to zvýšilo dôležitosť tréningových údajov a hodnotenia. Systém mohol dobre fungovať pri izolovaných ručne písaných čísliciach, no zápasiť so spojeným rukopisom alebo neznámymi formulármi. Pokrok v jednej úlohe rozpoznávania bol cenný bez toho, aby automaticky vyriešil každý iný druh dokumentu.

2000-te roky

Veľké digitálne zbierky menia OCR na nástroj na objavovanie

Digitalizačné projekty rozšírili úlohu OCR z opätovného použitia stránky na objavovanie informácií v celých zbierkach. Knižnice a archívy mohli uchovávať obrázky novín, kníh a záznamov a zároveň indexovať ich rozpoznaný text. Knižnica Kongresu spustila v marci 2007 projekt Chronicling America, čím výskumníkom poskytla prehľadávateľný zdroj historických novín.

To zmenilo spôsob, akým ľudia pristupovali k archívu. Meno, miesto alebo fráza mohli viesť priamo na relevantnú stránku bez toho, aby čitateľ musel kontrolovať každé vydanie. OCR sa stalo súčasťou väčšieho systému skenovania, metadát, indexovania a vyhľadávania. Jeho užitočnosť sa už nemerala len tým, ako veľmi sa exportovaný dokument podobal na svoj zdroj.

Historický materiál tiež odhalil pretrvávajúce slabiny: poškodený papier, staré typy písma, nepravidelné medzery a zložité stĺpce. Chyby pri rozpoznávaní mohli skryť relevantný výsledok vyhľadávania alebo vytvoriť zavádzajúcu zhodu. Ponechanie pôvodnej stránky popri strojovo generovanom texte umožnilo čitateľom overiť si objavy a urobilo z vylepšeného rozpoznávania spôsob, ako obohatiť existujúcu digitálnu zbierku bez nutnosti opätovného skenovania každej položky.

2006–2009

Čítanie celých sekvencií bez oddeľovania každého znaku

Dlhodobým problémom pri rozpoznávaní rukopisu bolo rozhodnúť, kde jeden znak končí a druhý začína. Spojené ťahy a prekrývajúce sa písmená robili proces striktného rozrezania a následnej klasifikácie krehkým. Štatistické sekvenčné metódy, vrátane skrytých Markovových modelov, už tento problém riešili. Rekurentné neurónové siete ponúkli iný spôsob, ako využiť susedné informácie pri interpretácii riadku. Siete s dlhou krátkodobou pamäťou (LSTM), typ rekurentnej siete, pomohli udržať kontext v rámci sekvencie namiesto nezávislého posudzovania každej malej oblasti.

Connectionist Temporal Classification, predstavená v 2006, poskytla tréningovú metódu na priraďovanie vstupných sekvencií k textovým štítkom bez nutnosti vopred označovať pozíciu každého znaku. Pôvodný článok hodnotil reč, zatiaľ čo následná práca aplikovala tento prístup na rukopis. Článok z 2009 kombinoval sekvenčný tréning s rekurentnými sieťami, ktoré využívali kontext z oboch smerov na rozpoznávanie neobmedzených ručne písaných riadkov.

To znížilo závislosť od dokonalej segmentácie znak po znaku a pomohlo urobiť rozpoznávanie na úrovni riadkov praktickejším. Neodstránilo to každý prípravný krok: systém stále mohol potrebovať lokalizovať text, identifikovať riadky a zvládnuť orientáciu stránky. Dôležitou zmenou bolo, že rozpoznávanie sa mohlo naučiť zarovnanie medzi sekvenciou obrázka a jeho prepisom namiesto toho, aby vopred dostávalo hranice každého znaku.

2010-te roky

Hlboké učenie posúva OCR za hranice plochého skenera

Odfotografovaný text opäť rozšíril problém. Účtenka na stole, nápis v obchode alebo stránka zachytená pod uhlom mohli obsahovať tiene, skreslenie perspektívy a rušivé pozadie. Pred rozpoznaním slov ich systém musel nájsť. Detekcia textu a rozpoznávanie textu sa preto stali úzko prepojenými výskumnými úlohami s praktickým významom pre čítanie a preklad pomocou fotoaparátu.

Hlboké učenie zlepšilo obe fázy. Článok o 2015 textu v scéne kombinoval konvolučné obrazové črty, rekurentné sekvenčné spracovanie a prepis do jedného trénovateľného systému rozpoznávania. Namiesto toho, aby sa extrakcia čŕt a čítanie považovali za úplne oddelené ručne vytvorené komponenty, výskumníci ich mohli optimalizovať spoločne. Prístup tiež zvládal slová rôznych dĺžok bez toho, aby najprv izoloval každé písmeno.

Referenčné testy čoraz viac odrážali nekontrolované podmienky snímania. Súťaž ICDAR Robust Reading Competition 2015 pridala náhodný text v scéne, čím rozšírila hodnotenie nad rámec obrázkov zámerne zarámovaných okolo čitateľných slov. To podporilo systémy, ktoré si dokážu poradiť s textom, s ktorým sa ľudia stretávajú na bežných fotografiách. Taktiež to objasnilo, že výkon na čistých naskenovaných dokumentoch plne neopisuje schopnosti čítačky v širšom vizuálnom svete.

2015–2019

Syntetické tréningové údaje a viacjazyčné referenčné testy rozširujú pokrytie

Lepšie metódy učenia si vyžadovali aj pestrejšie príklady. Syntetické tréningové obrázky umožnili výskumníkom generovať text v rôznych písmach, veľkostiach, farbách a pozadiach bez manuálneho označovania každej novej fotografie. Oxfordský výskum publikovaný v 2016 umiestnil umelý text do skutočných scén pri zohľadnení ich geometrie, čím poskytol veľké množstvo tréningového materiálu pre detekciu textu. Generované príklady doplnili skutočné obrázky tým, že uľahčili vytváranie konkrétnych variácií vo veľkom meradle.

Viacjazyčné hodnotenie sa rozširovalo paralelne. Viacjazyčná výzva ICDAR 2017 zahŕňala deväť jazykov reprezentujúcich šesť písiem; jej nástupca z 2019 pridal jazyk a úlohu rozpoznávania typu end-to-end. Tieto referenčné testy priniesli zmiešané písma, rôzne orientácie a širšiu škálu systémov písma do spoločného prostredia hodnotenia.

Širším ponaučením bolo, že jazyková podpora zahŕňala oveľa viac než len pridávanie znakov do abecedy. Systémy potrebovali vhodné tréningové príklady a metódy, ktoré si poradia s rôznymi štruktúrami znakov, spojeným písaním a smermi čítania. Zdieľané súbory údajov uľahčili meranie takýchto rozdielov a zároveň odhalili medzery medzi výkonom v dobre zastúpených jazykoch a menej známym materiálom.

2017–2020

Učenie založené na pozornosti a vnímaní rozloženia spája slová so štruktúrou stránky

Architektúra transformátora, predstavená v 2017 pre jazykové úlohy, poskytla výkonný spôsob modelovania vzťahov v rámci sekvencie prostredníctvom pozornosti. Jej význam pre OCR sa vyvinul prostredníctvom neskorších aplikácií na rozpoznávanie textu a analýzu dokumentov. Pozornosť umožnila systému vážiť relevantné časti vstupu pri vytváraní výsledku, čím pridala ďalší prístup popri konvolučných a rekurentných sieťach.

Výskum dokumentov sa neobmedzoval len na obyčajný prepis. Štúdia predložená v decembri 2019 a publikovaná v 2020 kombinovala rozpoznaný text s jeho pozíciou na stránke počas predtrénovania a následne pri prispôsobovaní systému na konkrétne úlohy s dokumentmi začlenila vizuálne prvky. Umiestnenie bolo dôležité, pretože tie isté slová mohli zohrávať rôzne úlohy v nadpise, bloku adresy alebo riadku formulára.

To pomohlo prepojiť rozpoznávanie s úlohami, ako je klasifikácia dokumentov a extrakcia informácií. Čítanie čísla a jeho identifikácia ako celkovej sumy faktúry sú súvisiace, ale odlišné operácie; štruktúra stránky poskytuje indície pre druhú z nich. Metódy využívajúce rozloženie neurobili OCR zbytočným. Ponúkli spôsoby, ako využiť jeho výstup spolu s okolitými vizuálnymi dôkazmi, čím sa spracovanie dokumentov posunulo smerom k vzťahom medzi prvkami namiesto jediného prúdu slov.

2021–2022

Transformátory čítajú text a priamo generujú výsledky dokumentov

Do roku 2021 výskumníci aplikovali predtrénované obrazové a textové transformátory priamo na rozpoznávanie. Jeden publikovaný prístup spároval obrazový kódovač s textovým dekodérom a vyhodnocoval tlačený, ručne písaný a scénický text. Predtrénovanie na veľkých zbierkach, po ktorom nasledovalo trénovanie na špecifickejšiu úlohu, ponúklo ďalšiu cestu k učeniu sa vizuálnych vzorov a vytváraniu koherentných sekvencií znakov alebo slov.

Samostatná línia práce skúmala generovanie štruktúrovaných výsledkov dokumentov z obrázkov bez predchádzajúceho spustenia nezávislého konvenčného OCR enginu. Výskum predstavený koncom 2021 a revidovaný v 2022 demonštroval tento prístup pre porozumenie dokumentom. Termín OCR-free v tejto práci opisuje absenciu samostatnej fázy OCR; systém stále musí odvodiť relevantné písomné informácie z obrázka.

Tento vývoj rozšíril dostupné architektúry. Systém spracovania môže text rozpoznať a následne ho analyzovať, alebo vytrénovať model tak, aby priamo vytvoril požadovaný výsledok. Ani jedno usporiadanie nezaručuje verný výstup na každej strane. Voľba mení to, kde môžu vzniknúť chyby, ako sa výsledky kontrolujú a ako ľahko možno uchovať priebežné dôkazy, ako sú rozpoznané slová a ich pozície.

2023–dnes

Multimodálne systémy rozširujú čítanie dokumentov a prinášajú nové testy

Nedávne multimodálne systémy kombinujú spracovanie obrazu a generovanie jazyka, čo umožňuje textu dokumentu zúčastňovať sa na širších interakciách. V závislosti od systému a úlohy môže používateľ požiadať o prepis, položiť otázku o stránke alebo extrahovať konkrétne polia. Rozpoznávanie čoraz viac zapadá do širšieho pracovného postupu s dokumentmi, zatiaľ čo špecializované OCR zostáva užitočné, keď je hlavnou požiadavkou presný, kontrolovateľný prepis.

Hodnotenie sa podľa toho rozšírilo. OCRBench, predstavený v 2023, zvažoval rozpoznávanie popri otázkach k dokumentom, extrakcii informácií a ručne písaných matematických výrazoch. Jeho nástupca, vydaný koncom 2024 a revidovaný v 2025, skúmal širšiu sadu úloh vizuálneho textu a uvažovania. Uvádzané obmedzenia zahŕňali jemné detaily, rozloženie, zložité prvky a menej známy text, čo ukazuje, prečo jedno tvrdenie o presnosti nemôže zachytiť každú požiadavku na čítanie dokumentov.

Táto širšia schopnosť tiež robí účel výstupu dôležitejším. Užitočné vysvetlenie môže parafrázovať, zatiaľ čo verný prepis musí zachovať to, čo stránka skutočne hovorí. Plynulé znenie nemôže potvrdiť, že meno, suma alebo citát boli prečítané správne. Systémy potrebujú hodnotenie prispôsobené úlohe, či už to znamená presnosť znakov, poradie čítania, štruktúru tabuľky alebo správnosť extrahovaného poľa.

V priebehu storočia smeroval pokrok k menej kontrolovaným vstupom a užitočnejším výstupom: od predpísaných znakov k bežnej tlači, rukopisu, fotografiám a zložitým dokumentom. Nové prístupy sa naďalej pripájajú k tým zavedeným. Ústredná výzva zostáva rozpoznateľná: premeniť vizuálne dôkazy na spoľahlivé informácie pri zachovaní detailov, na ktorých záleží.

Uveďte to, čo ste sa naučili, do praxe

Začnite s vlastným dokumentom

Vyberte nástroj pre svoj súbor, rozpoznajte jeho text a skontrolujte výsledok popri zdroji.

Jazyk38

English العربية Français Italiano Deutsch Español Português Nederlands Русский Türkçe 日本語 中文 हिन्दी Bahasa Indonesia Bahasa Melayu 한국어 Tiếng Việt ไทย Polski Svenska Українська Norsk বাংলা Ελληνικά فارسی اردو Čeština Dansk Magyar Română Suomi Български Filipino ქართული Slovenčina Azərbaycanca עברית Slovenščina