Svetloba, zvok in prvi pristopi k strojnemu branju
Nekatere korenine OCR segajo v poskuse, da bi tisk postali dostopen slepim bralcem. Leta 1914 je E. E. Fournier d'Albe opisal optofon za branje tiska, ki je vzorce svetlobe s strani pretvoril v zvočne signale. Poslušalec se je naučil interpretirati te signale. Šlo je za optični bralni pripomoček in ne za stroj, ki bi samodejno ustvaril besedilni prepis, vendar je dokazal, da je mogoče tiskane znake zaznati in predstaviti v drugi obliki.
Drugi izumitelji so si prizadevali za samodejno identifikacijo znakov. Patent za bralni stroj Gustava Tauscheka, vložen leta 1928 in objavljen leta 1930, je prikazal fotoelektrično primerjavo s predlogami znakov. Njegov primer branja številk je uporabljal vrteče se izreze za testiranje oblike, predstavljene napravi. Ti pristopi so združili optiko, mehansko gibanje in električno zaznavanje dolgo preden so postali splošno dostopni digitalni računalniki.
Razlikovanje med zaznavanjem znaka in prepoznavanjem znaka je ostalo osrednjega pomena za OCR. Zajemanje strani je bil šele začetek: uporaben bralnik je moral tudi razlikovati podobne oblike in izraziti svojo odločitev v obliki, ki jo je lahko uporabila druga naprava.
Bralniki znakov vstopajo v poslovne procese
V 1950 letih se je samodejno branje približalo vsakodnevni poslovni obdelavi. Patent za bralno napravo Davida Sheparda je bil vložen leta 1951 in izdan leta 1953. Sodobna raziskava Nacionalnega urada za standarde je zabeležila namestitev v proizvodnji pri Reader's Digest leta 1955. Takšni sistemi so reševali praktično ozko grlo: informacije, ki so bile že natisnjene na papirju, je moral sicer človek ponovno vnesti, preden jih je računalnik lahko obdelal.
Ti bralniki so običajno delovali v precej ožjih pogojih kot današnja splošna orodja za dokumente. Omejen nabor znakov, predvidljiv tisk in nadzorovana postavitev so naredili problem prepoznavanja bolj obvladljiv. Optični bralnik, strojna oprema za prepoznavanje in izhodni mehanizem so bili zasnovani kot usklajen sistem, pogosto za določen razred dokumentov.
To je bila pomembna sprememba v namenu in obsegu. Optično branje je postajalo metoda vnosa za poslovno računalništvo. Uspeh je bil odvisen od dosledne obdelave določene delovne obremenitve, namesto od dokazovanja, da lahko stroj prepozna nekaj znakov v laboratorijskih pogojih.
Standardizirane pisave olajšajo prepoznavanje tiskanega besedila
Eden od načinov za izboljšanje prepoznavanja je bil, da je bil vnos bolj predvidljiv. Strojno berljive pisave, kot sta OCR-A in OCR-B, so uporabljale določene oblike znakov in zahteve za tiskanje, kar je zmanjšalo variacije, ki jih je moral bralnik obvladati. OCR-B se je pojavil v standardu ECMA-11 leta 1965, kasnejše izdaje pa so specifikacijo izpopolnile. Standardizacija je pomagala, da so oprema in tiskani dokumenti delovali bolj dosledno.
Ta pristop je del inženirskega napora prenesel na sam dokument. Tesno nadzorovana pisava je lahko olajšala razlikovanje ene številke od druge, medtem ko so določene dimenzije in razmiki zmanjšali negotovost med skeniranjem. Kompromis je bila prilagodljivost: bralnik, zasnovan okoli nadzorovanega tiska, ni mogel samodejno obdelati vsakega časopisa, knjige ali rokopisa.
Optično prepoznavanje znakov je treba razlikovati tudi od prepoznavanja znakov z magnetnim črnilom ali MICR. Oba sta podpirala avtomatizacijo dokumentov, vendar MICR zaznava magnetno berljive znake, medtem ko OCR interpretira njihovo vidno sliko. Obe tehnologiji sta se razvijali vzporedno; nista različni imeni za isti postopek branja.
Omnifont prepoznavanje približa običajni tisk
Naslednja ambicija je bila branje gradiva, ki ni bilo posebej natisnjeno za stroj. Omnifont prepoznavanje je bilo usmerjeno v obvladovanje nabora običajnih pisav, kar je zmanjšalo odvisnost od ene same predpisane abecede. Ime je opisovalo to smer napredka; ni pomenilo, da je mogoče vsako pisavo, skeniranje ali postavitev strani prebrati brez napak.
Pomemben mejnik je bil bralni stroj, ki sta ga Ray Kurzweil in njegova ekipa predstavila 13. januarja 1976. V svoji ustni zgodovini za Ameriško fundacijo za slepe Kurzweil opisuje kombinacijo skeniranja, prepoznavanja znakov in sintetiziranega govora. Te komponente so skupaj omogočile, da je tiskano gradivo postalo govorjeni izhod, s čimer se je prepoznavanje povezalo s popolno bralno izkušnjo.
Isti temeljni napredki so podpirali tudi komercialni vnos podatkov. Vrednost OCR je bila vse bolj odvisna od obdelave obstoječih dokumentov, ne le dokumentov, zasnovanih okoli omejitev bralnika. Hkrati so ti sistemi pokazali, zakaj prepoznavanje posameznih črk ni bilo dovolj: besede je bilo treba sestaviti v uporabnem vrstnem redu, preden jih je bilo mogoče prebrati na glas ali ponovno uporabiti.
Skeniranje in OCR postaneta del namiznega delovnega procesa
Z razvojem osebnih računalnikov in namiznih skenerjev se je OCR premaknil onkraj namenskih bralnih instalacij. Ocena namiznih skenerjev s strani Agencije za varstvo okolja ZDA iz leta 1990 je prepoznavanje besedila že obravnavala kot praktično pisarniško zmogljivost, pri čemer je primerjala opremo in programsko opremo za pretvorbo papirja v uporabne računalniške datoteke. Skeniranje strani in prenos njenega besedila v urejevalnik besedil je postalo vse bolj dostopen delovni proces.
Programska oprema je morala storiti več kot le razvrstiti izolirane znake. Morala je ločiti besedilo od slik, prepoznati vrstice in stolpce, kompenzirati nagnjene skene in se odločiti, kako predstaviti stran v ureljivem dokumentu. Čiščenje slik, analiza postavitve, slovarji in kontekstualna preverjanja so postali pomembni deli celotnega postopka prepoznavanja. Stran je lahko vsebovala večinoma pravilne črke, vendar je vseeno zahtevala znatno popravilo, če so bili njeni stolpci pomešani.
Uvedba PDF v 1993 je dodala prenosljiv način za izmenjavo dokumentov na osnovi strani. PDF je bil format dokumenta, ne metoda prepoznavanja, vendar je zagotovil uporaben prostor za skenirane strani in pripadajoče besedilo. Ohranjanje videza strani in omogočanje iskanja po njeni vsebini sta lahko zdaj dopolnjujoča se cilja.
Raziskave rokopisa in nevronske mreže spreminjajo prepoznavanje
Poleg uveljavitve namiznih računalnikov so raziskovalci izboljševali prepoznavanje manj predvidljive pisave. Program OCR organizacije NIST od 1989 do 1998 je vključeval ročno izpolnjene obrazce in vloge, ki so vključevale Urad za popis prebivalstva ZDA in IRS. Javni nabori podatkov in referenčni sistemi so omogočili primerjavo metod na podlagi skupnih primerov, namesto zanašanja zgolj na predstavitve s skrbno izbranimi stranmi.
Nevronsko prepoznavanje je bilo že takrat pomemben del tega dela. Članek 1998 Gradient-Based Learning Applied to Document Recognition je opisal konvolucijske mreže, ki so se iz primerov učile uporabnih vizualnih značilnosti, skupaj z metodami za združevanje prepoznavanja, segmentacije in jezikovnih omejitev. To je razširilo širšo zgodovino statističnega prepoznavanja vzorcev; prejšnje OCR so vključevale tudi metode, ki so presegle preprosto primerjanje predlog.
Učenje iz primerov je ponudilo način za prilagajanje variacijam v potezah in oblikah znakov. Prav tako je povečalo pomen učnih podatkov in vrednotenja. Sistem se je lahko dobro odrezal pri ločenih ročno napisanih števkah, vendar se je lahko soočal s težavami pri povezanem rokopisu ali neznanih obrazcih. Napredek pri eni nalogi prepoznavanja je bil dragocen, ne da bi samodejno rešil vsako drugo vrsto dokumenta.
Velike digitalne zbirke spreminjajo OCR v orodje za odkrivanje
Projekti digitalizacije so razširili vlogo OCR s ponovne uporabe strani na odkrivanje informacij v celotnih zbirkah. Knjižnice in arhivi so lahko ohranili slike časopisov, knjig in zapisov, hkrati pa indeksirali njihovo prepoznano besedilo. Kongresna knjižnica je marca 2007 zagnala Chronicling America, s čimer je raziskovalcem ponudila iskljiv vir za zgodovinske časopise.
To je spremenilo način, kako so ljudje pristopali k arhivu. Ime, kraj ali besedna zveza so lahko vodili neposredno do ustrezne strani, ne da bi moral bralec pregledati vsako številko. OCR je postal del večjega sistema skeniranja, metapodatkov, indeksiranja in iskanja. Njegova uporabnost se ni več merila le po tem, kako zelo je izvožen dokument spominjal na svoj vir.
Zgodovinsko gradivo je razkrilo tudi vztrajne slabosti: poškodovan papir, stare pisave, nepravilen razmik in zapleteni stolpci. Napake pri prepoznavanju lahko skrijejo ustrezen rezultat iskanja ali ustvarijo zavajajoče ujemanje. Ohranjanje izvirne strani poleg strojno ustvarjenega besedila je bralcem omogočilo preverjanje odkritij in naredilo izboljšano prepoznavanje način za obogatitev obstoječe digitalne zbirke brez ponovnega skeniranja vsakega elementa.
Branje celotnih zaporedij brez ločevanja vsakega znaka
Dolgotrajna težava pri prepoznavanju rokopisa je bila odločitev, kje se en znak konča in kje se začne naslednji. Povezane poteze in prekrivajoče se črke so naredile strog postopek rezanja in razvrščanja krhek. Statistične metode zaporedij, vključno s skritimi Markovovimi modeli, so to težavo že obravnavale. Rekurentne nevronske mreže so ponudile drug način uporabe sosednjih informacij pri interpretaciji vrstice. Mreže dolgega kratkoročnega spomina (LSTM), vrsta rekurentne mreže, so pomagale ohraniti kontekst v celotnem zaporedju, namesto da bi vsako majhno območje presojale neodvisno.
Connectionist Temporal Classification, predstavljena v 2006, je zagotovila metodo usposabljanja za ujemanje vhodnih zaporedij z besedilnimi oznakami, ne da bi bilo treba vnaprej označiti položaj vsakega znaka. Prvotni članek je ocenjeval govor, medtem ko je kasnejše delo uporabilo pristop za rokopis. Članek 2009 je združil usposabljanje zaporedij z rekurentnimi mrežami, ki so uporabljale kontekst iz obeh smeri za prepoznavanje neomejenih ročno napisanih vrstic.
To je zmanjšalo odvisnost od popolne segmentacije znak za znakom in pomagalo narediti prepoznavanje na ravni vrstic bolj praktično. Ni odpravilo vsakega koraka priprave: sistem je moral še vedno poiskati besedilo, prepoznati vrstice in obvladati usmerjenost strani. Pomembna sprememba je bila, da se je prepoznavanje lahko naučilo poravnave med zaporedjem slik in njegovim prepisom, namesto da bi vnaprej prejelo vsako mejo znaka.
Globoko učenje popelje OCR onkraj namiznega skenerja
Fotografirano besedilo je znova razširilo problem. Račun na mizi, napis v trgovini ali stran, posneta pod kotom, lahko vsebujejo sence, popačenje perspektive in moteče ozadje. Pred prepoznavanjem besed je moral sistem najti besedilo. Zaznavanje besedila in prepoznavanje besedila sta tako postala tesno povezani raziskovalni nalogi s praktičnim pomenom za branje in prevajanje s pomočjo kamere.
Globoko učenje je izboljšalo obe stopnji. Članek o besedilu v prizoru 2015 je združil konvolucijske slikovne značilnosti, rekurentno obdelavo zaporedij in prepisovanje v enem sistemu za usposabljanje. Namesto da bi ekstrakcijo značilnosti in branje obravnavali kot popolnoma ločeni ročno izdelani komponenti, so ju raziskovalci lahko optimizirali skupaj. Pristop je obravnaval tudi besede različnih dolžin, ne da bi najprej izoliral vsako črko.
Merila uspešnosti so vse bolj odražala nenadzorovane pogoje zajema. Tekmovanje ICDAR Robust Reading Competition 2015 je dodalo naključno besedilo v prizoru, s čimer je razširilo vrednotenje onkraj slik, ki so bile namerno kadrirane okoli berljivih besed. To je spodbudilo sisteme, ki se lahko spopadejo z besedilom, na katerega ljudje naletijo na vsakdanjih fotografijah. Prav tako je postalo jasno, da zmogljivost na čistih skeniranih dokumentih ne opisuje v celoti sposobnosti bralnika v širšem vizualnem svetu.
Sintetični učni podatki in večjezična merila uspešnosti širijo pokritost
Boljše metode učenja so zahtevale tudi bolj raznolike primere. Sintetične učne slike so raziskovalcem omogočile ustvarjanje besedila v različnih pisavah, velikostih, barvah in ozadjih brez ročnega označevanja vsake nove fotografije. Raziskava iz Oxforda, objavljena leta 2016, je umetna besedila postavila v resnične prizore ob upoštevanju njihove geometrije, kar je zagotovilo velike količine učnega gradiva za zaznavanje besedila. Ustvarjeni primeri so dopolnili resnične slike, saj so olajšali izdelavo določenih variacij v velikem obsegu.
Večjezično vrednotenje se je razširilo vzporedno. Večjezični izziv ICDAR 2017 je vključeval devet jezikov, ki predstavljajo šest pisav; njegov naslednik 2019 je dodal jezik in nalogo prepoznavanja od konca do konca. Ta merila uspešnosti so v skupno okolje vrednotenja prinesla mešane pisave, različne usmerjenosti in širši nabor pisav.
Širša lekcija je bila, da jezikovna podpora vključuje veliko več kot le dodajanje znakov v abecedo. Sistemi so potrebovali ustrezne učne primere in metode, ki bi se lahko spopadle z različnimi strukturami znakov, povezanim pisanjem in smermi branja. Skupni nabori podatkov so olajšali merjenje takšnih razlik, hkrati pa razkrili vrzeli med zmogljivostjo pri dobro zastopanih jezikih in manj znanem gradivu.
Pozornost in učenje, ki se zaveda postavitve, povezujeta besede s strukturo strani
Arhitektura transformer, predstavljena v 2017 za jezikovne naloge, je zagotovila močan način za modeliranje odnosov v zaporedju s pomočjo pozornosti. Njen pomen za OCR se je razvil skozi kasnejše aplikacije pri prepoznavanju besedila in analizi dokumentov. Pozornost je sistemu omogočila, da pri ustvarjanju rezultata pretehta ustrezne dele svojega vnosa, s čimer je dodala še en pristop poleg konvolucijskih in rekurentnih mrež.
Raziskave dokumentov so prav tako gledale onkraj preprostega prepisa. Študija, predložena decembra 2019 in objavljena v 2020, je med predhodnim usposabljanjem združila prepoznano besedilo z njegovim položajem na strani, nato pa pri prilagajanju sistema za specifične naloge dokumentov vključila vizualne značilnosti. Lokacija je bila pomembna, ker lahko iste besede igrajo različne vloge v naslovu, bloku naslova ali vrstici obrazca.
To je pomagalo povezati prepoznavanje z nalogami, kot sta klasifikacija dokumentov in pridobivanje informacij. Branje številke in njena identifikacija kot skupni znesek računa sta povezani, a ločeni operaciji; struktura strani nudi namige za drugo. Metode, ki se zavedajo postavitve, niso naredile OCR nepotrebnega. Ponudile so načine za uporabo njegovega izhoda skupaj z okoliškimi vizualnimi dokazi, s čimer se je obdelava dokumentov premaknila k odnosom med elementi namesto k enotnemu toku besed.
Transformatorji berejo besedilo in neposredno ustvarjajo rezultate dokumentov
Do 2021 so raziskovalci neposredno uporabljali vnaprej usposobljene transformatorje slik in besedila za prepoznavanje. Eden od objavljenih pristopov je združil kodirnik slik z dekodirnikom besedila ter ocenil tiskano, ročno napisano in besedilo v prizorih. Predhodno usposabljanje na velikih zbirkah, ki mu je sledilo usposabljanje za bolj specifično nalogo, je ponudilo drugo pot do učenja vizualnih vzorcev in ustvarjanja koherentnih zaporedij znakov ali besed.
Ločena smer dela je raziskovala ustvarjanje strukturiranih rezultatov dokumentov iz slik brez predhodnega zagona neodvisnega običajnega mehanizma OCR. Raziskave, predstavljene konec 2021 in revidirane v 2022, so prikazale ta pristop za razumevanje dokumentov. Izraz OCR-free v tem delu opisuje odsotnost ločene faze OCR; sistem mora še vedno izluščiti ustrezne pisne informacije iz slike.
Ti dosežki so razširili razpoložljive arhitekture. Sistem za obdelavo lahko prepozna besedilo in ga nato analizira ali pa usposobi model za neposredno ustvarjanje zahtevanega rezultata. Nobena ureditev ne zagotavlja zvestega izhoda na vsaki strani. Izbira spremeni, kje se lahko pojavijo napake, kako se rezultati pregledujejo in kako enostavno se lahko ohranijo vmesni dokazi, kot so prepoznane besede in njihovi položaji.
Multimodalni sistemi širijo branje dokumentov in postavljajo nove preizkuse
Nedavni multimodalni sistemi združujejo obdelavo slik in generiranje jezika, kar omogoča, da besedilo dokumenta sodeluje v širših interakcijah. Odvisno od sistema in naloge lahko uporabnik zahteva prepis, postavi vprašanje o strani ali izlušči določena polja. Prepoznavanje vse bolj postaja del širšega poteka dela z dokumenti, medtem ko namenski OCR ostaja koristen, kadar je glavna zahteva natančen, preverljiv prepis.
Vrednotenje se je ustrezno razširilo. OCRBench, predstavljen leta 2023, je obravnaval prepoznavanje poleg vprašanj o dokumentih, pridobivanja informacij in ročno napisanih matematičnih izrazov. Njegov naslednik, izdan konec 2024 in revidiran v 2025, je preučil širši nabor vizualnega besedila in nalog sklepanja. Poročane omejitve so vključevale fine podrobnosti, postavitev, kompleksne elemente in manj znano besedilo, kar kaže, zakaj ena sama trditev o natančnosti ne more zajeti vsake zahteve za branje dokumentov.
Ta širša zmožnost prav tako povečuje pomen namena izhoda. Koristna razlaga lahko parafrazira, medtem ko mora zvest prepis ohraniti tisto, kar stran dejansko pravi. Tekoče besedilo ne more potrditi, da je bilo ime, znesek ali citat prebran pravilno. Sistemi potrebujejo vrednotenje, prilagojeno nalogi, ne glede na to, ali to pomeni natančnost znakov, vrstni red branja, strukturo tabele ali pravilnost izluščenega polja.
Skozi stoletje je bila smer napredka usmerjena k manj nadzorovanemu vnosu in bolj uporabnemu izhodu: od predpisanih znakov do običajnega tiska, rokopisa, fotografij in kompleksnih dokumentov. Novi pristopi se še naprej pridružujejo uveljavljenim. Osrednji izziv ostaja prepoznaven: pretvorba vizualnih dokazov v zanesljive informacije ob ohranjanju podrobnosti, ki so pomembne.