Valo, ääni ja ensimmäiset lähestymistavat konelukemiseen
Jotkin OCRn juuret juontavat yrityksiin tehdä painettu teksti saavutettavaksi näkövammaisille lukijoille. Vuonna 1914 E. E. Fournier d'Albe kuvaili tekstinlukemiseen tarkoitetun optofonin, joka muutti sivun valokuviot kuuluviksi signaaleiksi. Kuuntelija oppi tulkitsemaan näitä signaaleja. Se oli optinen lukemisen apuväline, ei kone, joka tuotti automaattisesti tekstimuotoisen litteraatin, mutta se osoitti, että painetut merkit voitiin havaita ja esittää toisessa muodossa.
Muut keksijät tavoittelivat automaattista merkkien tunnistamista. Gustav Tauschekin lukukonepatentti, joka jätettiin vuonna 1928 ja julkaistiin vuonna 1930, havainnollisti valosähköistä vertailua merkkimallien avulla. Sen numeroiden lukemiseen tarkoitettu esimerkki käytti pyöriviä aukkoja laitteelle esitetyn muodon testaamiseen. Nämä lähestymistavat yhdistivät optiikan, mekaanisen liikkeen ja sähköisen tunnistamisen kauan ennen kuin yleiskäyttöisistä digitaalisista tietokoneista tuli arkipäivää.
Ero merkin havaitsemisen ja merkin tunnistamisen välillä pysyi keskeisenä OCRssa. Sivun kaappaaminen oli vasta alkua: hyödyllisen lukijan piti myös pystyä erottamaan samankaltaiset muodot toisistaan ja ilmaisemaan päätöksensä muodossa, jota toinen laite voisi käyttää.
Merkkien lukijat osaksi liiketoimintaprosesseja
1950-luvulla automaattinen lukeminen siirtyi lähemmäs jokapäiväistä liiketoiminnan käsittelyä. David Shepardin lukulaitepatentti jätettiin vuonna 1951 ja myönnettiin vuonna 1953. Kansallisen standardointiviraston (NBS) aikalaiskatsaus kirjasi tuotantokäyttöön otetun asennuksen Reader's Digestillä vuonna 1955. Tällaiset järjestelmät ratkaisivat käytännön pullonkaulan: paperille painettu tieto piti muuten syöttää uudelleen käsin, ennen kuin tietokone pystyi käsittelemään sitä.
Nämä lukijat toimivat yleensä paljon rajoitetummissa olosuhteissa kuin nykyiset yleiskäyttöiset asiakirjatyökalut. Rajoitettu merkistö, ennakoitava painojälki ja hallittu sijoittelu tekivät tunnistusongelmasta hallittavamman. Skanneri, tunnistuslaitteisto ja tulostusmekanismi suunniteltiin koordinoiduksi järjestelmäksi, usein tiettyä asiakirjaluokkaa varten.
Tämä oli merkittävä muutos tarkoituksessa ja mittakaavassa. Optisesta lukemisesta oli tulossa syöttötapa liiketoiminnan tietojenkäsittelyyn. Menestys riippui määritellyn työkuorman johdonmukaisesta käsittelystä, eikä siitä, että kone pystyisi tunnistamaan muutaman merkin laboratorio-olosuhteissa.
Standardoidut fontit tekevät painetusta tekstistä helpommin tunnistettavaa
Yksi tapa parantaa tunnistusta oli tehdä syötteestä ennakoitavampaa. Koneellisesti luettavat kirjasintyypit, kuten OCR-A ja OCR-B, käyttivät määriteltyjä merkkimuotoja ja painovaatimuksia, mikä vähensi lukijan käsiteltävää vaihtelua. OCR-B ilmestyi ECMA-11-standardissa vuonna 1965, ja myöhemmät painokset tarkensivat määrittelyä. Standardointi auttoi laitteita ja painettuja asiakirjoja toimimaan johdonmukaisemmin yhdessä.
Tämä lähestymistapa siirsi osan suunnittelutyöstä itse asiakirjaan. Tiukasti hallittu kirjasintyyppi saattoi tehdä numerosta helpommin erotettavan toisesta numerosta, kun taas määritellyt mitat ja välit vähensivät epävarmuutta skannauksen aikana. Kompromissina oli joustavuus: hallitun painojäljen ympärille suunniteltu lukija ei pystynyt automaattisesti käsittelemään jokaista sanomalehteä, kirjaa tai käsinkirjoitettua muistiinpanoa.
Optinen tekstintunnistus on myös erotettava magneettisesta tekstintunnistuksesta (MICR). Molemmat tukivat asiakirjojen automatisointia, mutta MICR tunnistaa magneettisesti luettavia merkkejä, kun taas OCR tulkitsee niiden näkyvää kuvaa. Nämä kaksi teknologiaa kehittyivät rinnakkain; ne eivät ole saman lukemisprosessin eri nimiä.
Omnifont-tunnistus tuo tavallisen painojäljen ulottuville
Seuraava tavoite oli lukea materiaalia, jota ei ollut painettu erityisesti konetta varten. Omnifont-tunnistuksen tavoitteena oli käsitellä useita tavallisia kirjasintyyppejä, mikä vähensi riippuvuutta yhdestä määrätystä aakkostosta. Nimi kuvasi tätä kehityssuuntaa; se ei tarkoittanut, että jokainen fontti, skannaus tai sivun asettelu voitaisiin lukea virheettömästi.
Merkittävä virstanpylväs oli lukukone, jonka Ray Kurzweil ja hänen tiiminsä esittelivät tammikuun 13 päivänä 1976. American Foundation for the Blind -säätiölle antamassaan suullisessa historiassa Kurzweil kuvailee skannauksen, tekstintunnistuksen ja puhesynteesin yhdistelmää. Yhdessä nämä komponentit mahdollistivat painetun materiaalin muuttamisen puheeksi, yhdistäen tunnistuksen kokonaiseksi lukukokemukseksi.
Samat taustalla vaikuttavat edistysaskeleet tukivat myös kaupallista tiedonsyöttöä. OCRn arvo riippui yhä enemmän olemassa olevien asiakirjojen käsittelystä, ei vain lukijan rajoitteiden ympärille suunnitelluista asiakirjoista. Samaan aikaan nämä järjestelmät osoittivat, miksi yksittäisten kirjainten tunnistaminen ei riittänyt: sanat piti koota hyödylliseen järjestykseen, ennen kuin ne voitiin lukea ääneen tai käyttää uudelleen.
Skannauksesta ja OCRsta osa työpöytätyönkulkua
Henkilökohtaisten tietokoneiden ja työpöytäskannerien kehittyessä OCR siirtyi erillisten lukujärjestelmien ulkopuolelle. Yhdysvaltain ympäristönsuojeluviraston (EPA) vuonna 1990 tekemä työpöytäskannerien arviointi käsitteli tekstintunnistusta jo käytännön toimistokyvykkyytenä, vertaillen laitteita ja ohjelmistoja paperin muuntamiseksi käyttökelpoisiksi tietokonetiedostoiksi. Sivun skannaamisesta ja sen tekstin siirtämisestä tekstinkäsittelyohjelmaan tuli yhä helpommin lähestyttävä työnkulku.
Ohjelmiston piti tehdä muutakin kuin luokitella yksittäisiä merkkejä. Sen piti erottaa teksti kuvista, tunnistaa rivit ja sarakkeet, kompensoida vinot skannaukset ja päättää, miten sivu esitetään muokattavassa asiakirjassa. Kuvan puhdistus, asettelun analysointi, sanakirjat ja kontekstuaaliset tarkistukset tulivat tärkeiksi osiksi koko tunnistusprosessia. Sivu saattoi sisältää pääosin oikeita kirjaimia, mutta vaatia silti huomattavaa korjausta, jos sen sarakkeet olivat sekoittuneet.
PDF-muodon käyttöönotto 1993-vuonna toi mukanaan kannettavan tavan vaihtaa sivupohjaisia asiakirjoja. PDF oli asiakirjamuoto, ei tunnistusmenetelmä, mutta se tarjosi hyödyllisen kodin skannatuille sivuille ja niihin liittyvälle tekstille. Sivun ulkoasun säilyttäminen ja sen sisällön hakukelpoiseksi tekeminen voisivat nyt olla toisiaan täydentäviä tavoitteita.
Käsialatutkimus ja neuroverkot muuttavat tunnistusta
Pöytäkoneiden yleistymisen ohella tutkijat paransivat vähemmän ennakoitavan kirjoituksen tunnistamista. NIST:n OCR-ohjelma 1989–1998-vuosina sisälsi käsin kirjoitettuja lomakkeita ja hakemuksia, joissa olivat mukana Yhdysvaltain väestönlaskentavirasto ja verovirasto (IRS). Julkiset tietoaineistot ja vertailujärjestelmät mahdollistivat menetelmien vertailun jaettujen esimerkkien avulla sen sijaan, että olisi luotettu vain huolellisesti valituilla sivuilla tehtyihin esittelyihin.
Neuroverkkotunnistus oli jo tärkeä osa tätä työtä. 1998-tutkimusartikkeli Gradient-Based Learning Applied to Document Recognition kuvasi konvoluutioverkkoja, jotka oppivat hyödyllisiä visuaalisia piirteitä esimerkeistä, sekä menetelmiä tunnistamisen, segmentoinnin ja kielirajoitteiden yhdistämiseksi. Tämä laajensi tilastollisen hahmontunnistuksen laajempaa historiaa; aiemmat OCR sisälsivät myös muita menetelmiä kuin pelkän mallipohjaisen vertailun.
Esimerkeistä oppiminen tarjosi tavan huomioida vaihtelut vedoissa ja merkkien muodoissa. Se teki myös opetusaineistosta ja arvioinnista tärkeämpiä. Järjestelmä saattoi toimia hyvin yksittäisten käsin kirjoitettujen numeroiden kohdalla, mutta kamppailla yhtenäisen käsialan tai vieraiden lomakkeiden kanssa. Edistyminen yhdessä tunnistustehtävässä oli arvokasta ilman, että se automaattisesti ratkaisi kaikkia muita asiakirjatyyppejä.
Laajat digitaaliset kokoelmat muuttavat OCR-tekniikan löytötyökaluksi
Digitointiprojektit laajensivat OCR-tekniikan roolia sivun uudelleenkäytöstä tiedon löytämiseen koko kokoelmista. Kirjastot ja arkistot pystyivät säilyttämään kuvia sanomalehdistä, kirjoista ja asiakirjoista indeksoimalla samalla niiden tunnistetun tekstin. Kongressin kirjasto käynnisti Chronicling America -palvelun maaliskuussa 2007, tarjoten tutkijoille hakukelpoisen resurssin historiallisista sanomalehdistä.
Tämä muutti tapaa, jolla ihmiset lähestyivät arkistoa. Nimi, paikka tai lause saattoi johtaa suoraan asiaankuuluvalle sivulle ilman, että lukijan tarvitsi tarkistaa jokaista numeroa. OCR-tekniikasta tuli osa laajempaa skannauksen, metadatan, indeksoinnin ja haun järjestelmää. Sen hyödyllisyyttä ei enää mitattu vain sillä, kuinka läheisesti yksi viety asiakirja muistutti lähdettään.
Historiallinen aineisto paljasti myös jatkuvia heikkouksia: vaurioitunutta paperia, vanhoja kirjasintyyppejä, epäsäännöllistä välistystä ja monimutkaisia palstoja. Tunnistusvirheet saattoivat piilottaa olennaisen hakutuloksen tai tuottaa harhaanjohtavan osuman. Alkuperäisen sivun säilyttäminen koneellisesti tuotetun tekstin rinnalla antoi lukijoille mahdollisuuden varmistaa löydöt ja teki parannetusta tunnistuksesta tavan rikastuttaa olemassa olevaa digitaalista kokoelmaa ilman jokaisen kohteen uudelleenskannausta.
Koko sekvenssien lukeminen ilman jokaisen merkin erottamista
Pitkäaikainen vaikeus käsialan tunnistamisessa oli päättää, missä yksi merkki päättyy ja seuraava alkaa. Yhdistetyt vedot ja päällekkäiset kirjaimet tekivät tiukasta leikkaa-ja-luokittele-prosessista hauraan. Tilastolliset sekvenssimenetelmät, mukaan lukien piilotetut Markovin mallit, käsittelivät tätä ongelmaa jo aiemmin. Toistuvat neuroverkot tarjosivat toisen tavan hyödyntää naapuruston tietoa riviä tulkittaessa. Pitkän lyhyen aikavälin muisti (LSTM) -verkot, eräs toistuvien verkkojen tyyppi, auttoivat säilyttämään kontekstin koko sekvenssin ajan sen sijaan, että jokainen pieni alue olisi arvioitu erikseen.
Connectionist Temporal Classification (CTC), joka esiteltiin 2006, tarjosi opetusmenetelmän syötesekvenssien sovittamiseksi tekstimerkkeihin ilman, että jokaisen merkin sijaintia tarvitsi merkitä etukäteen. Alkuperäisessä artikkelissa arvioitiin puhetta, kun taas myöhemmässä työssä menetelmää sovellettiin käsialaan. 2009-artikkelissa yhdistettiin sekvenssiopetus ja toistuvat verkot, jotka käyttivät kontekstia molemmista suunnista rajoittamattomien käsin kirjoitettujen rivien tunnistamiseen.
Tämä vähensi riippuvuutta täydellisestä merkki kerrallaan tapahtuvasta segmentoinnista ja auttoi tekemään rivitason tunnistuksesta käytännöllisempää. Se ei poistanut jokaista valmisteluvaihetta: järjestelmän piti edelleen paikantaa teksti, tunnistaa rivit ja käsitellä sivun suunta. Tärkeä muutos oli se, että tunnistus oppi kohdistamaan kuvasekvenssin ja sen tekstivastineen toisiinsa sen sijaan, että se olisi saanut jokaisen merkin rajat etukäteen.
Syväoppiminen vie OCR-tekniikan tasoskanneria pidemmälle
Valokuvattu teksti laajensi ongelmaa jälleen. Työpöydällä oleva kuitti, myymälän kyltti tai vinossa kuvattu sivu saattoi sisältää varjoja, perspektiivivääristymiä ja häiritsevän taustan. Ennen sanojen tunnistamista järjestelmän oli löydettävä ne. Tekstin havaitsemisesta ja tekstin tunnistamisesta tuli siten tiiviisti toisiinsa liittyviä tutkimustehtäviä, joilla on käytännön merkitystä kamerapohjaisessa lukemisessa ja kääntämisessä.
Syväoppiminen paransi molempia vaiheita. 2015-tutkimusartikkeli kohtauksen tekstistä yhdisti konvoluutiopohjaiset kuvaominaisuudet, toistuvan sekvenssiprosessin ja transkription yhdeksi opetettavaksi tunnistusjärjestelmäksi. Sen sijaan, että piirteiden erottelua ja lukemista olisi käsitelty täysin erillisinä käsintehtyinä komponentteina, tutkijat pystyivät optimoimaan ne yhdessä. Lähestymistapa käsitteli myös eripituisia sanoja ilman, että jokainen kirjain piti eristää ensin.
Vertailuarvot heijastivat yhä enemmän hallitsemattomia kuvausolosuhteita. 2015 ICDAR Robust Reading Competition lisäsi satunnaisen kohtauksen tekstin, laajentaen arviointia luettavien sanojen ympärille tarkoituksella rajattujen kuvien ulkopuolelle. Tämä kannusti kehittämään järjestelmiä, jotka selviytyvät tekstistä, jota ihmiset kohtaavat jokapäiväisissä valokuvissa. Se teki myös selväksi, että suorituskyky puhtailla skannatuilla asiakirjoilla ei täysin kuvannut lukijan kykyjä laajemmassa visuaalisessa maailmassa.
Synteettinen opetusaineisto ja monikieliset vertailuarvot laajentavat kattavuutta
Paremmat oppimismenetelmät vaativat myös monipuolisempia esimerkkejä. Synteettiset opetuskuvat antoivat tutkijoille mahdollisuuden luoda tekstiä eri fonteilla, kokoilla, väreillä ja taustoilla ilman, että jokainen uusi valokuva piti merkitä käsin. Oxfordin tutkimus, joka julkaistiin 2016, sijoitti keinotekoista tekstiä todellisiin kohtauksiin ottaen huomioon niiden geometrian, tarjoten suuria määriä opetusmateriaalia tekstin havaitsemiseen. Generoidut esimerkit täydensivät todellisia kuvia tekemällä tietyistä muunnelmista helpommin tuotettavia suuressa mittakaavassa.
Monikielinen arviointi laajeni samanaikaisesti. 2017 ICDAR-monikielisyyshaaste sisälsi yhdeksän kieltä, jotka edustivat kuutta kirjoitusjärjestelmää; sen 2019-seuraaja lisäsi kielen ja päästä-päähän-tunnistustehtävän. Nämä vertailuarvot toivat sekakieliset tekstit, eri suunnat ja laajemman valikoiman kirjoitusjärjestelmiä yhteiseen arviointiympäristöön.
Laajempi opetus oli se, että kielen tuki sisälsi paljon muutakin kuin merkkien lisäämisen aakkostoon. Järjestelmät tarvitsivat sopivia opetusesimerkkejä ja menetelmiä, jotka selviytyivät erilaisista merkkirakenteista, yhtenäisestä kirjoituksesta ja lukusuunnista. Jaetut tietoaineistot tekivät tällaisista eroista helpommin mitattavia, paljastaen samalla eroja hyvin edustettujen kielten ja vähemmän tuttujen aineistojen suorituskyvyn välillä.
Huomio- ja asettelutietoinen oppiminen yhdistävät sanat sivun rakenteeseen
Transformer-arkkitehtuuri, joka esiteltiin 2017 kielitehtäviä varten, tarjosi tehokkaan tavan mallintaa sekvenssin välisiä suhteita huomiomekanismin avulla. Sen merkitys OCR-tekniikalle kehittyi myöhempien tekstintunnistuksen ja asiakirja-analyysin sovellusten kautta. Huomiomekanismi antoi järjestelmälle mahdollisuuden painottaa syötteensä olennaisia osia tuottaessaan tulosta, lisäten uuden lähestymistavan konvoluutio- ja toistuvien verkkojen rinnalle.
Asiakirjatutkimuksessa katsottiin myös pelkkää tekstin litterointia pidemmälle. Joulukuussa 2019 jätetty ja 2020 julkaistu tutkimus yhdisti tunnistetun tekstin sen sivulla olevaan sijaintiin esikoulutuksen aikana ja sisällytti sitten visuaalisia piirteitä mukauttaessaan järjestelmää tiettyihin asiakirjatehtäviin. Sijainnilla oli merkitystä, koska samoilla sanoilla voi olla eri rooleja otsikossa, osoitelohkossa tai lomakkeen rivillä.
Tämä auttoi yhdistämään tunnistamisen tehtäviin, kuten asiakirjojen luokitteluun ja tiedon erottamiseen. Numeron lukeminen ja sen tunnistaminen laskun loppusummaksi ovat toisiinsa liittyviä, mutta erillisiä toimintoja; sivun rakenne antaa vihjeitä jälkimmäiseen. Asettelutietoiset menetelmät eivät tehneet OCR-tekniikasta tarpeetonta. Ne tarjosivat tapoja käyttää sen tulosta yhdessä ympäröivän visuaalisen todistusaineiston kanssa, mikä siirsi asiakirjojen käsittelyä kohti elementtien välisiä suhteita sen sijaan, että kyseessä olisi vain yksi sanavirta.
Transformerit lukevat tekstiä ja tuottavat asiakirjatuloksia suoraan
Vuoteen 2021 mennessä tutkijat sovelsivat esikoulutettuja kuva- ja tekstimuuntajia suoraan tunnistamiseen. Eräässä julkaistussa lähestymistavassa yhdistettiin kuvanenkooderi tekstindekooderiin ja arvioitiin painettua, käsinkirjoitettua ja kuvassa olevaa tekstiä. Esikoulutus suurilla kokoelmilla, jota seurasi koulutus tiettyä tehtävää varten, tarjosi toisen reitin visuaalisten kuvioiden oppimiseen ja johdonmukaisten merkki- tai sanajonojen tuottamiseen.
Erillinen työlinja tutki jäsenneltyjen asiakirjatulosten tuottamista kuvista ilman, että ensin ajettiin erillistä tavanomaista OCR-moottoria. Vuoden 2021 lopulla esitelty ja 2022 tarkistettu tutkimus osoitti tämän lähestymistavan asiakirjojen ymmärtämiseen. Termi OCR-vapaa kyseisessä työssä kuvaa erillisen OCR-vaiheen puuttumista; järjestelmän on silti johdettava asiaankuuluva kirjoitettu tieto kuvasta.
Nämä kehitysaskeleet laajensivat käytettävissä olevia arkkitehtuureja. Käsittelyjärjestelmä voi tunnistaa tekstin ja analysoida sen, tai kouluttaa mallin tuottamaan pyydetyn tuloksen suoraan. Kumpikaan järjestely ei takaa virheetöntä tulosta jokaisella sivulla. Valinta muuttaa sitä, missä virheitä voi syntyä, miten tuloksia tarkastetaan ja kuinka helposti välivaiheen todisteet, kuten tunnistetut sanat ja niiden sijainnit, voidaan säilyttää.
Multimodaaliset järjestelmät laajentavat asiakirjojen lukemista ja tuovat uusia testejä
Viimeaikaiset multimodaaliset järjestelmät yhdistävät kuvankäsittelyn ja kielen tuottamisen, mikä mahdollistaa asiakirjatekstin osallistumisen laajempiin vuorovaikutustilanteisiin. Järjestelmästä ja tehtävästä riippuen käyttäjä voi pyytää litterointia, kysyä kysymyksen sivusta tai poimia tiettyjä kenttiä. Tunnistaminen on yhä enemmän osa laajempaa asiakirjatyönkulkua, kun taas erillinen OCR on edelleen hyödyllinen, kun päävaatimuksena on tarkka ja tarkastettavissa oleva litteraatti.
Arviointi on laajentunut vastaavasti. Vuonna 2023 esitelty OCRBench tarkasteli tunnistamista asiakirjoihin liittyvien kysymysten, tiedon erottamisen ja käsinkirjoitettujen matemaattisten lausekkeiden ohella. Sen seuraaja, joka julkaistiin 2024 lopussa ja tarkistettiin 2025, tutki laajempaa visuaalisen tekstin ja päättelytehtävien joukkoa. Raportoidut rajoitukset koskivat hienoja yksityiskohtia, asettelua, monimutkaisia elementtejä ja vähemmän tuttua tekstiä, mikä osoittaa, miksi yksi tarkkuusväite ei voi kattaa kaikkia asiakirjojen lukemisen vaatimuksia.
Tämä laajempi kyky tekee myös tuloksen tarkoituksesta tärkeämmän. Hyödyllinen selitys voi olla parafraasi, kun taas uskollisen litteraatin on säilytettävä se, mitä sivulla todella lukee. Sujuva sanamuoto ei voi vahvistaa, että nimi, summa tai lainaus on luettu oikein. Järjestelmät tarvitsevat tehtävään sopivaa arviointia, tarkoittipa se sitten merkkien tarkkuutta, lukujärjestystä, taulukon rakennetta tai poimitun kentän oikeellisuutta.
Vuosisadan aikana kehityksen suunta on ollut kohti vähemmän kontrolloitua syötettä ja hyödyllisempää tulosta: määrätyistä merkeistä tavalliseen painettuun tekstiin, käsinkirjoitukseen, valokuviin ja monimutkaisiin asiakirjoihin. Uudet lähestymistavat liittyvät jatkuvasti vakiintuneiden rinnalle. Keskeinen haaste pysyy tunnistettavana: visuaalisen todistusaineiston muuttaminen luotettavaksi tiedoksi säilyttäen samalla tärkeät yksityiskohdat.