Lys, lyd og de første tilnærmingene til maskinlesing
Noen av røttene til OCR ligger i forsøk på å gjøre trykt tekst tilgjengelig for blinde lesere. I 1914 beskrev E. E. Fournier d'Albe en optofon for lesing av skrift, som konverterte lysmønstre fra en side til hørbare signaler. Lytteren lærte å tolke disse signalene. Det var et optisk lesehjelpemiddel, snarere enn en maskin som automatisk produserte en teksttranskripsjon, men det demonstrerte at trykte merker kunne sanses og representeres i en annen form.
Andre oppfinnere forfulgte automatisk tegnidentifikasjon. Gustav Tauscheks patent på en lesemaskin, sendt inn i 1928 og publisert i 1930, illustrerte fotoelektrisk sammenligning med tegnmaler. Eksempelet med tallgjenkjenning brukte roterende utskjæringer for å teste formen som ble presentert for enheten. Disse tilnærmingene brakte optikk, mekanisk bevegelse og elektrisk sensing sammen lenge før generelle digitale datamaskiner ble vanlige.
Skillet mellom å oppdage et merke og å identifisere et tegn ville forbli sentralt for OCR. Å fange siden var bare begynnelsen: en nyttig leser måtte også kunne skille mellom lignende former og uttrykke beslutningen sin i en form som en annen enhet kunne bruke.
Tegngjenkjennere inntar forretningsdrift
I løpet av 1950-tallet beveget automatisk lesing seg nærmere daglig forretningsbehandling. David Shepards patent på et leseapparat ble sendt inn i 1951 og utstedt i 1953. En samtidig undersøkelse fra National Bureau of Standards registrerte en produksjonsinstallasjon hos Reader's Digest i 1955. Slike systemer løste en praktisk flaskehals: informasjon som allerede var trykt på papir, måtte ellers legges inn på nytt av en person før en datamaskin kunne behandle den.
Disse leserne fungerte vanligvis under mye strengere forhold enn dagens generelle dokumentverktøy. Et begrenset tegnsett, forutsigbar trykking og kontrollert plassering gjorde gjenkjenningsproblemet mer håndterbart. Skanneren, gjenkjenningsmaskinvaren og utdatamekanismen ble designet som et koordinert system, ofte for en bestemt klasse dokumenter.
Dette var en betydelig endring i formål og omfang. Optisk lesing var i ferd med å bli en inndatametode for forretningsdatabehandling. Suksess avhang av konsekvent behandling av en definert arbeidsmengde, snarere enn å demonstrere at en maskin kunne gjenkjenne noen få tegn under laboratorieforhold.
Standardiserte skrifttyper gjør trykt tekst lettere å gjenkjenne
En måte å forbedre gjenkjenning på var å gjøre inndataene mer forutsigbare. Maskinlesbare skrifttyper som OCR-A og OCR-B brukte spesifiserte tegnformer og trykkekrav, noe som reduserte variasjonen en leser måtte håndtere. OCR-B dukket opp i ECMA-11-standarden i 1965, med senere utgaver som foredlet spesifikasjonen. Standardisering hjalp utstyr og trykte dokumenter med å fungere mer konsekvent sammen.
Denne tilnærmingen plasserte en del av ingeniørarbeidet på selve dokumentet. En strengt kontrollert skrifttype kunne gjøre et tall lettere å skille fra et annet tall, mens spesifiserte dimensjoner og avstand reduserte usikkerhet under skanning. Kompromisset var fleksibilitet: en leser designet rundt kontrollert trykk kunne ikke automatisk håndtere hver avis, bok eller håndskrevne notat.
Optisk tegngjenkjenning bør også skilles fra magnetisk tegngjenkjenning, eller MICR. Begge støttet dokumentautomatisering, men MICR registrerer magnetisk lesbare tegn, mens OCR tolker det synlige bildet deres. De to teknologiene utviklet seg side om side; de er ikke forskjellige navn for den samme leseprosessen.
Omnifont-gjenkjenning gjør vanlig trykk tilgjengelig
Den neste ambisjonen var å lese materiale som ikke var trykt spesielt for en maskin. Omnifont-gjenkjenning siktet på å håndtere en rekke vanlige skrifttyper, noe som reduserte avhengigheten av ett foreskrevet alfabet. Navnet beskrev denne retningen for fremgang; det betydde ikke at hver skrifttype, skanning eller sideoppsett kunne leses uten feil.
En fremtredende milepæl var lesemaskinen introdusert av Ray Kurzweil og teamet hans den 13. januar 1976. I sin muntlige historie for American Foundation for the Blind beskriver Kurzweil kombinasjonen av skanning, tegngjenkjenning og syntetisert tale. Sammen tillot disse komponentene at trykt materiale ble til talt utdata, noe som koblet gjenkjenning med en komplett leseopplevelse.
De samme underliggende fremskrittene støttet også kommersiell dataregistrering. Verdien av OCR avhang i økende grad av å håndtere eksisterende dokumenter, ikke bare dokumenter designet rundt begrensningene til en leser. Samtidig viste disse systemene hvorfor det å gjenkjenne individuelle bokstaver var utilstrekkelig: ord måtte settes sammen i en nyttig rekkefølge før de kunne leses høyt eller gjenbrukes.
Skanning og OCR blir en del av arbeidsflyten på skrivebordet
Etter hvert som personlige datamaskiner og skrivebordsskannere utviklet seg, beveget OCR seg utover dedikerte leseinstallasjoner. En evaluering av skrivebordsskannere fra US Environmental Protection Agency i 1990 behandlet allerede tekstgjenkjenning som en praktisk kontorkapasitet, der de sammenlignet utstyr og programvare for konvertering av papir til brukbare datafiler. Å skanne en side og overføre teksten til et tekstbehandlingsprogram ble en stadig mer tilgjengelig arbeidsflyt.
Programvare måtte gjøre mer enn å klassifisere isolerte tegn. Den måtte skille tekst fra bilder, identifisere linjer og kolonner, kompensere for skjeve skanninger og bestemme hvordan siden skulle representeres i et redigerbart dokument. Bildeopprydding, layoutanalyse, ordbøker og kontekstuelle kontroller ble viktige deler av den generelle gjenkjenningsprosessen. En side kunne inneholde stort sett korrekte bokstaver, men likevel kreve betydelig reparasjon hvis kolonnene var blandet sammen.
Introduksjonen av PDF i 1993 la til en bærbar måte å utveksle sidebaserte dokumenter på. PDF var et dokumentformat, ikke en gjenkjenningsmetode, men det ga et nyttig hjem for skannede sider og tilhørende tekst. Å bevare en sides utseende og gjøre innholdet søkbart kunne nå være komplementære mål.
Håndskriftforskning og nevrale nettverk endrer gjenkjenning
Ved siden av adopsjon på skrivebordet, forbedret forskere gjenkjenningen av mindre forutsigbar skrift. NISTs OCR-program fra 1989 til 1998 inkluderte håndskrevne skjemaer og søknader som involverte US Census Bureau og IRS. Offentlige datasett og referansesystemer gjorde det mulig å sammenligne metoder mot delte eksempler, i stedet for å stole kun på demonstrasjoner med nøye utvalgte sider.
Nevral gjenkjenning var allerede en viktig del av dette arbeidet. 1998-artikkelen Gradient-Based Learning Applied to Document Recognition beskrev konvolusjonelle nettverk som lærte nyttige visuelle trekk fra eksempler, sammen med metoder for å kombinere gjenkjenning, segmentering og språkbegrensninger. Dette utvidet en bredere historie med statistisk mønstergjenkjenning; tidligere OCR inkluderte også metoder utover enkel mal-matching.
Å lære fra eksempler tilbød en måte å imøtekomme variasjoner i strøk og tegnformer. Det gjorde også treningsdata og evaluering viktigere. Et system kunne prestere godt på isolerte håndskrevne siffer, men slite med sammenhengende håndskrift eller ukjente skjemaer. Fremgang på én gjenkjenningsoppgave var verdifull uten automatisk å løse alle andre typer dokumenter.
Store digitale samlinger gjør OCR til et oppdagelsesverktøy
Digitaliseringsprosjekter utvidet OCRs rolle fra å gjenbruke en side til å oppdage informasjon på tvers av hele samlinger. Biblioteker og arkiver kunne bevare bilder av aviser, bøker og dokumenter mens de indekserte den gjenkjente teksten. Library of Congress lanserte Chronicling America i mars 2007, noe som ga forskere en søkbar ressurs for historiske aviser.
Dette endret hvordan folk nærmet seg et arkiv. Et navn, sted eller uttrykk kunne føre direkte til en relevant side uten at en leser trengte å inspisere hver utgave. OCR ble en del av et større system for skanning, metadata, indeksering og gjenfinning. Nytten ble ikke lenger målt bare etter hvor nært et eksportert dokument lignet kilden.
Historisk materiale avslørte også vedvarende svakheter: skadet papir, gamle skrifttyper, uregelmessig avstand og komplekse kolonner. Gjenkjenningsfeil kunne skjule et relevant søkeresultat eller produsere et villedende treff. Å beholde den originale siden ved siden av maskingenerert tekst tillot lesere å verifisere funn, og gjorde forbedret gjenkjenning til en måte å berike en eksisterende digital samling uten å skanne hvert element på nytt.
Lese hele sekvenser uten å skille hvert tegn
En langvarig vanskelighet innen håndskriftgjenkjenning var å avgjøre hvor ett tegn sluttet og det neste begynte. Sammenhengende strøk og overlappende bokstaver gjorde en streng kutt-og-klassifiser-prosess skjør. Statistiske sekvensmetoder, inkludert skjulte Markov-modeller, adresserte allerede dette problemet. Recurrent neural networks (RNN) tilbød en annen måte å bruke naboinformasjon på mens man tolket en linje. Long short-term memory (LSTM)-nettverk, en type rekurrent nettverk, hjalp til med å beholde kontekst på tvers av en sekvens i stedet for å vurdere hver lille region uavhengig.
Connectionist Temporal Classification, introdusert i 2006, ga en treningsmetode for å matche inngangssekvenser til tekstetiketter uten at hvert tegns posisjon måtte markeres på forhånd. Den originale artikkelen evaluerte tale, mens senere arbeid brukte tilnærmingen på håndskrift. En 2009-artikkel kombinerte sekvenstrening med rekurrente nettverk som brukte kontekst fra begge retninger for å gjenkjenne ubegrensede håndskrevne linjer.
Dette reduserte avhengigheten av perfekt tegn-for-tegn-segmentering og bidro til å gjøre linjenivå-gjenkjenning mer praktisk. Det fjernet ikke alle forberedelsestrinn: et system kunne fortsatt trenge å lokalisere teksten, identifisere linjer og håndtere sideorientering. Den viktige endringen var at gjenkjenning kunne lære en justering mellom en bildesekvens og dens transkripsjon i stedet for å motta hver tegngrense på forhånd.
Deep learning tar OCR utover flatbed-skanneren
Fotografert tekst utvidet problemet igjen. En kvittering på et skrivebord, et butikkskilt eller en side tatt i en vinkel kunne inneholde skygger, perspektivforvrengning og en forstyrrende bakgrunn. Før ordene ble gjenkjent, måtte et system finne dem. Tekstdeteksjon og tekstgjenkjenning ble derfor nært beslektede forskningsoppgaver, med praktisk relevans for kamerabasert lesing og oversettelse.
Deep learning forbedret begge stadier. En 2015-artikkel om scenetekst kombinerte konvolusjonelle bildetrekk, rekurrent sekvensbehandling og transkripsjon i ett trenbart gjenkjenningssystem. I stedet for å behandle trekkutvinning og lesing som helt separate håndlagde komponenter, kunne forskere optimalisere dem sammen. Tilnærmingen håndterte også ord med ulik lengde uten først å isolere hver bokstav.
Benchmarks reflekterte i økende grad ukontrollerte opptaksforhold. 2015 ICDAR Robust Reading Competition la til tilfeldig scenetekst, og utvidet evalueringen utover bilder som bevisst var rammet inn rundt lesbare ord. Dette oppmuntret til systemer som kunne håndtere teksten folk møtte i hverdagslige fotografier. Det gjorde det også klart at ytelse på rene skannede dokumenter ikke fullt ut beskrev en lesers evner i den bredere visuelle verden.
Syntetiske treningsdata og flerspråklige benchmarks utvider dekningen
Bedre læringsmetoder krevde også mer varierte eksempler. Syntetiske treningsbilder lot forskere generere tekst i forskjellige skrifttyper, størrelser, farger og bakgrunner uten å manuelt merke hvert nye fotografi. Oxford-forskning publisert i 2016 plasserte kunstig tekst inn i virkelige scener mens de tok hensyn til geometrien deres, noe som ga store mengder treningsmateriale for tekstdeteksjon. Genererte eksempler utfylte virkelige bilder ved å gjøre spesifikke variasjoner lettere å produsere i stor skala.
Flerspråklig evaluering utvidet seg parallelt. 2017 ICDAR-flerspråklig utfordring inkluderte ni språk som representerte seks skrifter; dens 2019-etterfølger la til et språk og en ende-til-ende-gjenkjenningsoppgave. Disse benchmarkene brakte blandede skrifter, forskjellige orienteringer og et bredere spekter av skriftsystemer inn i en felles evalueringssetting.
Den bredere lærdommen var at språkstøtte innebar mye mer enn å legge til tegn i et alfabet. Systemer trengte egnede treningseksempler og metoder som kunne håndtere forskjellige tegnstrukturer, sammenhengende skrift og leseretninger. Delte datasett gjorde slike forskjeller lettere å måle, samtidig som de avslørte gap mellom ytelse på godt representerte språk og på mindre kjent materiale.
Attention og layout-bevisst læring kobler ord med sidestruktur
Transformer-arkitekturen, introdusert i 2017 for språkoppgaver, ga en kraftig måte å modellere forhold på tvers av en sekvens gjennom attention. Dens betydning for OCR utviklet seg gjennom senere applikasjoner for tekstgjenkjenning og dokumentanalyse. Attention tillot et system å vekte relevante deler av inndataene mens det produserte et resultat, og la til en annen tilnærming ved siden av konvolusjonelle og rekurrente nettverk.
Dokumentforskning så også utover en enkel transkripsjon. En studie innsendt i desember 2019 og publisert i 2020 kombinerte gjenkjent tekst med dens sideposisjon under forhåndstrening, og innlemmet deretter visuelle egenskaper ved tilpasning av systemet til spesifikke dokumentoppgaver. Plassering betydde noe fordi de samme ordene kunne spille ulike roller i en overskrift, en adresseblokk eller en rad i et skjema.
Dette bidro til å koble gjenkjenning med oppgaver som dokumentklassifisering og informasjonsuthenting. Å lese et tall og identifisere det som en fakturasum er beslektede, men distinkte operasjoner; sidestruktur gir ledetråder for den andre. Oppsettbevisste metoder gjorde ikke OCR unødvendig. De tilbød måter å bruke utdataene sammen med det omkringliggende visuelle beviset, og flyttet dokumentbehandling mot sammenhenger mellom elementer fremfor en enkelt strøm av ord.
Transformere leser tekst og genererer dokumentresultater direkte
Innen 2021 brukte forskere forhåndstrente bilde- og teksttransformere direkte til gjenkjenning. En publisert tilnærming paret en bildekoder med en tekstdekoder og evaluerte trykt, håndskrevet og scenetekst. Forhåndstrening på store samlinger, etterfulgt av trening for en mer spesifikk oppgave, tilbød en annen rute til å lære visuelle mønstre og produsere sammenhengende tegn- eller ordsekvenser.
Et separat arbeidsfelt utforsket generering av strukturerte dokumentresultater fra bilder uten først å kjøre en uavhengig konvensjonell OCR-motor. Forskning introdusert sent i 2021 og revidert i 2022 demonstrerte denne tilnærmingen for dokumentforståelse. Begrepet OCR-fri i det arbeidet beskriver fraværet av et separat OCR-stadium; systemet må fremdeles utlede den relevante skrevne informasjonen fra bildet.
Disse utviklingene utvidet de tilgjengelige arkitekturene. Et behandlingssystem kan gjenkjenne tekst og deretter analysere den, eller trene en modell til å produsere et forespurt resultat direkte. Ingen av ordningene garanterer trofaste utdata på hver side. Valget endrer hvor feil kan oppstå, hvordan resultater inspiseres og hvor enkelt mellomliggende bevis, som gjenkjente ord og deres posisjoner, kan beholdes.
Multimodale systemer utvider dokumentlesing og skaper nye tester
Nylige multimodale systemer kombinerer bildebehandling og språkgenerering, noe som lar dokumenttekst delta i bredere interaksjoner. Avhengig av systemet og oppgaven kan en bruker be om en transkripsjon, stille et spørsmål om en side eller hente ut spesifikke felt. Gjenkjenning inngår i økende grad i en større dokumentarbeidsflyt, mens dedikert OCR forblir nyttig når hovedkravet er en presis, inspiserbar transkripsjon.
Evalueringen har utvidet seg tilsvarende. OCRBench, introdusert i 2023, vurderte gjenkjenning sammen med dokumentspørsmål, informasjonsuthenting og håndskrevne matematiske uttrykk. Etterfølgeren, utgitt ved slutten av 2024 og revidert i 2025, undersøkte et bredere sett med visuelle tekst- og resonneringsoppgaver. De rapporterte begrensningene inkluderte fine detaljer, oppsett, komplekse elementer og mindre kjent tekst, noe som viser hvorfor et enkelt nøyaktighetskrav ikke kan fange opp ethvert krav til dokumentlesing.
Denne bredere kapasiteten gjør også formålet med et utdata viktigere. En nyttig forklaring kan omskrive, mens en trofast transkripsjon må bevare det siden faktisk sier. Flytende ordlyd kan ikke fastslå at et navn, beløp eller sitat ble lest korrekt. Systemer trenger evaluering tilpasset oppgaven, enten det betyr tegnnøyaktighet, leserekkefølge, tabellstruktur eller korrektheten til et uthentet felt.
Gjennom århundret har retningen for fremgang vært mot mindre kontrollert inngang og mer nyttige utdata: fra foreskrevne tegn til vanlig trykk, håndskrift, fotografier og komplekse dokumenter. Nye tilnærminger fortsetter å slutte seg til etablerte. Den sentrale utfordringen forblir gjenkjennelig: å gjøre visuelle bevis om til pålitelig informasjon samtidig som detaljene som betyr noe bevares.