Lys, lyd og de første tilgange til maskinlæsning
Nogle af OCR's rødder ligger i forsøg på at gøre trykt tekst tilgængelig for blinde læsere. I 1914 beskrev E. E. Fournier d'Albe en type-læsende optofon, som konverterede lysmønstre fra en side til hørbare signaler. Lytteren lærte at tolke disse signaler. Det var et optisk læsehjælpemiddel snarere end en maskine, der automatisk producerede en tekstudskrift, men det demonstrerede, at trykte mærker kunne registreres og repræsenteres i en anden form.
Andre opfindere forfulgte automatisk tegnidentifikation. Gustav Tauscheks patent på en læsemaskine, indsendt i 1928 og offentliggjort i 1930, illustrerede fotoelektrisk sammenligning med tegnsæt. Dets eksempel på læsning af tal brugte roterende udskæringer til at teste den form, der blev præsenteret for enheden. Disse tilgange bragte optik, mekanisk bevægelse og elektrisk registrering sammen længe før generelle digitale computere blev almindelige.
Skelnen mellem at detektere et mærke og identificere et tegn ville forblive central for OCR. At indfange siden var kun begyndelsen: en nyttig læser havde også brug for at skelne mellem lignende former og udtrykke sin beslutning i en form, som en anden enhed kunne bruge.
Tegnlæsere indgår i forretningsprocesser
I løbet af 1950'erne rykkede automatisk læsning tættere på daglig forretningsbehandling. David Shepards patent på et læseapparat blev indsendt i 1951 og udstedt i 1953. En undersøgelse fra National Bureau of Standards fra samme tid registrerede en produktionsinstallation hos Reader's Digest i 1955. Sådanne systemer adresserede en praktisk flaskehals: information, der allerede var trykt på papir, skulle ellers indtastes igen af en person, før en computer kunne behandle den.
Disse læsere arbejdede normalt under langt snævrere forhold end nutidens generelle dokumentværktøjer. Et begrænset tegnsæt, forudsigelig udskrift og kontrolleret placering gjorde genkendelsesproblemet mere håndterbart. Scanneren, genkendelseshardwaren og outputmekanismen var designet som et koordineret system, ofte til en bestemt klasse af dokumenter.
Dette var en væsentlig ændring i formål og omfang. Optisk læsning var ved at blive en inputmetode til forretnings-IT. Succes afhang af konsistent behandling af en defineret arbejdsbyrde frem for at demonstrere, at en maskine kunne genkende et par tegn under laboratorieforhold.
Standardiserede skrifttyper gør trykt tekst lettere at genkende
En måde at forbedre genkendelse på var at gøre inputtet mere forudsigeligt. Maskinlæsbare skrifttyper såsom OCR-A og OCR-B brugte specificerede tegnformer og trykkrav, hvilket reducerede den variation, en læser skulle håndtere. OCR-B optrådte i ECMA-11-standarden i 1965, hvor senere udgaver forfinede specifikationen. Standardisering hjalp udstyr og trykte dokumenter med at arbejde mere konsistent sammen.
Denne tilgang placerede en del af ingeniørarbejdet på selve dokumentet. En stramt kontrolleret skrifttype kunne gøre et tal lettere at skelne fra et andet tal, mens specificerede dimensioner og afstand reducerede usikkerhed under scanning. Kompromiset var fleksibilitet: en læser designet omkring kontrolleret tryk kunne ikke automatisk håndtere enhver avis, bog eller håndskrevet note.
Optisk tegngenkendelse bør også skelnes fra magnetisk blæk-tegngenkendelse, eller MICR. Begge understøttede dokumentautomatisering, men MICR registrerer magnetisk læsbare tegn, hvorimod OCR tolker deres synlige billede. De to teknologier udviklede sig sideløbende; de er ikke forskellige navne for den samme læseproces.
Omnifont-genkendelse gør almindelig trykt tekst tilgængelig
Den næste ambition var at læse materiale, der ikke var trykt specielt til en maskine. Omnifont-genkendelse havde til formål at håndtere en række almindelige skrifttyper, hvilket reducerede afhængigheden af et enkelt foreskrevet alfabet. Navnet beskrev denne retning for fremskridt; det betød ikke, at enhver skrifttype, scanning eller sidelayout kunne læses uden fejl.
En fremtrædende milepæl var læsemaskinen introduceret af Ray Kurzweil og hans team den 13. januar 1976. I sin mundtlige historie for American Foundation for the Blind beskriver Kurzweil kombinationen af scanning, tegngenkendelse og syntetiseret tale. Sammen gjorde disse komponenter det muligt for trykt materiale at blive til talt output, hvilket forbandt genkendelse med en komplet læseoplevelse.
De samme underliggende fremskridt understøttede også kommerciel dataindtastning. OCR's værdi afhang i stigende grad af håndtering af eksisterende dokumenter, ikke kun dokumenter designet omkring en læsers begrænsninger. Samtidig viste disse systemer, hvorfor det var utilstrækkeligt at genkende individuelle bogstaver: ord skulle samles i en nyttig rækkefølge, før de kunne læses højt eller genbruges.
Scanning og OCR bliver en del af desktop-arbejdsgangen
Efterhånden som personlige computere og desktop-scannere udviklede sig, rykkede OCR ud over dedikerede læseinstallationer. En evaluering af desktop-scannere fra det amerikanske miljøbeskyttelsesagentur (EPA) i 1990 behandlede allerede tekstgenkendelse som en praktisk kontorkapacitet, hvor man sammenlignede udstyr og software til konvertering af papir til brugbare computerfiler. At scanne en side og overføre dens tekst til et tekstbehandlingsprogram blev en stadig mere tilgængelig arbejdsgang.
Softwaren skulle gøre mere end blot at klassificere isolerede tegn. Den skulle adskille tekst fra billeder, identificere linjer og kolonner, kompensere for skæve scanninger og beslutte, hvordan siden skulle repræsenteres i et redigerbart dokument. Billedoprydning, layoutanalyse, ordbøger og kontekstuelle tjek blev vigtige dele af den samlede genkendelsesproces. En side kunne indeholde for det meste korrekte bogstaver og alligevel kræve væsentlig reparation, hvis dens kolonner var blandet sammen.
Introduktionen af PDF i 1993 tilføjede en bærbar måde at udveksle sidebaserede dokumenter på. PDF var et dokumentformat, ikke en genkendelsesmetode, men det gav et nyttigt hjemsted for scannede sider og tilhørende tekst. At bevare en sides udseende og gøre dens indhold søgbart kunne nu være komplementære mål.
Håndskriftsforskning og neurale netværk ændrer genkendelse
Sideløbende med udbredelsen af stationære computere forbedrede forskere genkendelsen af mindre forudsigelig skrift. NIST's OCR-program fra 1989 til 1998 omfattede håndskrevne formularer og ansøgninger, der involverede det amerikanske folketællingsbureau og skattevæsenet (IRS). Offentlige datasæt og referencesystemer gjorde det muligt at sammenligne metoder ud fra fælles eksempler i stedet for kun at stole på demonstrationer med nøje udvalgte sider.
Neural genkendelse var allerede en vigtig del af dette arbejde. 1998-artiklen Gradient-Based Learning Applied to Document Recognition beskrev konvolutionelle netværk, der lærte nyttige visuelle træk fra eksempler, sammen med metoder til at kombinere genkendelse, segmentering og sproglige begrænsninger. Dette udvidede en bredere historie om statistisk mønstergenkendelse; tidligere OCR omfattede også metoder ud over simpel skabelonmatchning.
At lære fra eksempler tilbød en måde at imødekomme variationer i strøg og tegnformer. Det gjorde også træningsdata og evaluering vigtigere. Et system kunne præstere godt på isolerede håndskrevne cifre, men kæmpe med sammenhængende håndskrift eller ukendte formularer. Fremskridt inden for én genkendelsesopgave var værdifulde uden automatisk at løse enhver anden form for dokument.
Store digitale samlinger gør OCR til et opdagelsesværktøj
Digitaliseringsprojekter udvidede OCR's rolle fra at genbruge en side til at opdage information på tværs af hele samlinger. Biblioteker og arkiver kunne bevare billeder af aviser, bøger og optegnelser, mens de indekserede deres genkendte tekst. Library of Congress lancerede Chronicling America i marts 2007, hvilket gav forskere en søgbar ressource for historiske aviser.
Dette ændrede, hvordan folk tilgik et arkiv. Et navn, et sted eller en sætning kunne føre direkte til en relevant side uden at kræve, at en læser skulle gennemse hvert nummer. OCR blev en del af et større system af scanning, metadata, indeksering og hentning. Dets nytteværdi blev ikke længere kun målt på, hvor tæt et eksporteret dokument lignede sin kilde.
Historisk materiale afslørede også vedvarende svagheder: beskadiget papir, gamle skrifttyper, uregelmæssig afstand og komplekse kolonner. Genkendelsesfejl kunne skjule et relevant søgeresultat eller producere et vildledende match. Ved at beholde den originale side sammen med den maskingenererede tekst kunne læsere verificere opdagelser, og forbedret genkendelse blev en måde at berige en eksisterende digital samling på uden at skulle scanne hvert element igen.
Læsning af hele sekvenser uden at adskille hvert tegn
En langvarig vanskelighed ved håndskriftsgenkendelse var at beslutte, hvor ét tegn sluttede, og det næste begyndte. Sammenhængende strøg og overlappende bogstaver gjorde en streng klip-og-klassificer-proces skrøbelig. Statistiske sekvensmetoder, herunder skjulte Markov-modeller, adresserede allerede dette problem. Recurrente neurale netværk tilbød en anden måde at bruge naboinformation på, mens en linje blev fortolket. Long short-term memory (LSTM)-netværk, en type recurrent netværk, hjalp med at bevare kontekst på tværs af en sekvens i stedet for at vurdere hvert lille område uafhængigt.
Connectionist Temporal Classification, introduceret i 2006, gav en træningsmetode til at matche inputsekvenser med tekstetiketter uden at kræve, at hvert tegns position blev markeret på forhånd. Den originale artikel evaluerede tale, mens efterfølgende arbejde anvendte tilgangen på håndskrift. En 2009-artikel kombinerede sekvenstræning med recurrente netværk, der brugte kontekst fra begge retninger til at genkende ubegrænsede håndskrevne linjer.
Dette reducerede afhængigheden af perfekt tegn-for-tegn-segmentering og hjalp med at gøre linjeniveau-genkendelse mere praktisk. Det fjernede ikke alle forberedelsestrin: et system kunne stadig have brug for at lokalisere teksten, identificere linjer og håndtere sideorientering. Den vigtige ændring var, at genkendelse kunne lære en justering mellem en billedsekvens og dens transskription i stedet for at modtage hver tegngrænse på forhånd.
Deep learning tager OCR ud over flatbed-scanneren
Fotograferet tekst udvidede problemet igen. En kvittering på et skrivebord, et butiksskilt eller en side taget i en vinkel kunne indeholde skygger, perspektivforvrængning og en forstyrrende baggrund. Før ordene kunne genkendes, skulle et system finde dem. Tekstdetektering og tekstgenkendelse blev derfor tæt forbundne forskningsopgaver med praktisk relevans for kamerabaseret læsning og oversættelse.
Deep learning forbedrede begge stadier. En 2015-artikel om scenetekst kombinerede konvolutionelle billedtræk, recurrent sekvensbehandling og transskription i ét trænbart genkendelsessystem. I stedet for at behandle trækudtrækning og læsning som helt separate håndlavede komponenter, kunne forskere optimere dem sammen. Tilgangen håndterede også ord af forskellig længde uden først at isolere hvert bogstav.
Benchmarks afspejlede i stigende grad ukontrollerede optagelsesforhold. 2015 ICDAR Robust Reading Competition tilføjede tilfældig scenetekst og udvidede evalueringen ud over billeder, der bevidst var indrammet omkring læsbare ord. Dette opmuntrede til systemer, der kunne håndtere den tekst, folk stødte på i hverdagsbilleder. Det gjorde det også klart, at ydeevne på rene scannede dokumenter ikke fuldt ud beskrev en læsers evner i den bredere visuelle verden.
Syntetiske træningsdata og flersprogede benchmarks udvider dækningen
Bedre læringsmetoder krævede også mere varierede eksempler. Syntetiske træningsbilleder lod forskere generere tekst i forskellige skrifttyper, størrelser, farver og baggrunde uden manuelt at skulle mærke hvert nyt fotografi. Oxford-forskning publiceret i 2016 placerede kunstig tekst i virkelige scener, mens der blev taget højde for deres geometri, hvilket gav store mængder træningsmateriale til tekstdetektering. Genererede eksempler supplerede virkelige billeder ved at gøre specifikke variationer lettere at producere i stor skala.
Flersproget evaluering udvidedes parallelt. 2017 ICDAR-flersprogsudfordringen omfattede ni sprog, der repræsenterede seks skrifttyper; dens 2019-efterfølger tilføjede et sprog og en end-to-end-genkendelsesopgave. Disse benchmarks bragte blandede skrifttyper, forskellige orienteringer og en bredere vifte af skrivesystemer ind i en fælles evalueringsramme.
Den bredere lektie var, at sprogunderstøttelse indebar meget mere end blot at tilføje tegn til et alfabet. Systemer havde brug for passende træningseksempler og metoder, der kunne håndtere forskellige tegnstrukturer, sammenhængende skrift og læseretninger. Fælles datasæt gjorde sådanne forskelle lettere at måle, samtidig med at de afslørede huller mellem ydeevne på velrepræsenterede sprog og på mindre velkendt materiale.
Attention og layout-bevidst læring forbinder ord med sidestruktur
Transformer-arkitekturen, introduceret i 2017 til sprogopgaver, gav en kraftfuld måde at modellere relationer på tværs af en sekvens gennem attention. Dens betydning for OCR udviklede sig gennem senere anvendelser til tekstgenkendelse og dokumentanalyse. Attention tillod et system at vægte relevante dele af sit input, mens det producerede et resultat, hvilket tilføjede en anden tilgang ved siden af konvolutionelle og recurrente netværk.
Dokumentforskning så også ud over en simpel udskrift. Et studie indsendt i december 2019 og publiceret i 2020 kombinerede genkendt tekst med dens sideplacering under forudgående træning og inkorporerede derefter visuelle træk, da systemet blev tilpasset specifikke dokumentopgaver. Placeringen betød noget, fordi de samme ord kunne spille forskellige roller i en overskrift, en adresseblok eller en række i en formular.
Dette hjalp med at forbinde genkendelse med opgaver som dokumentklassificering og informationsudtrækning. At læse et tal og identificere det som en fakturatotal er relaterede, men forskellige operationer; sidestrukturen giver spor til den anden. Layout-bevidste metoder gjorde ikke OCR overflødig. De tilbød måder at bruge dens output sammen med det omkringliggende visuelle bevis, hvilket flyttede dokumentbehandling mod relationer mellem elementer frem for en enkelt strøm af ord.
Transformere læser tekst og genererer dokumentresultater direkte
Ved 2021 anvendte forskere forudtrænede billed- og teksttransformere direkte til genkendelse. En publiceret tilgang parrede en billed-encoder med en tekst-dekoder og evaluerede trykt, håndskrevet og scene-tekst. Forudgående træning på store samlinger, efterfulgt af træning til en mere specifik opgave, tilbød en anden rute til at lære visuelle mønstre og producere sammenhængende tegn- eller ordsekvenser.
En separat arbejdsgren udforskede generering af strukturerede dokumentresultater fra billeder uden først at køre en uafhængig konventionel OCR-motor. Forskning introduceret i slutningen af 2021 og revideret i 2022 demonstrerede denne tilgang til dokumentforståelse. Udtrykket OCR-fri i det arbejde beskriver fraværet af et separat OCR-stadie; systemet skal stadig udlede den relevante skrevne information fra billedet.
Disse udviklinger udvidede de tilgængelige arkitekturer. Et behandlingssystem kan genkende tekst og derefter analysere den, eller træne en model til at producere et ønsket resultat direkte. Ingen af delene garanterer fejlfrit output på hver side. Valget ændrer, hvor fejl kan opstå, hvordan resultater inspiceres, og hvor let mellemliggende beviser, såsom genkendte ord og deres positioner, kan bevares.
Multimodale systemer udvider dokumentlæsning og skaber nye tests
Nylige multimodale systemer kombinerer billedbehandling og sproggenerering, hvilket gør det muligt for dokumenttekst at deltage i bredere interaktioner. Afhængigt af systemet og opgaven kan en bruger anmode om en udskrift, stille et spørgsmål om en side eller udtrække specifikke felter. Genkendelse indgår i stigende grad i en større dokumentarbejdsgang, mens dedikeret OCR forbliver nyttig, når hovedkravet er en præcis, inspicerbar udskrift.
Evalueringen er udvidet tilsvarende. OCRBench, introduceret i 2023, overvejede genkendelse sammen med dokumentspørgsmål, informationsudtrækning og håndskrevne matematiske udtryk. Dens efterfølger, udgivet i slutningen af 2024 og revideret i 2025, undersøgte et bredere sæt af visuelle tekst- og ræsonnementsopgaver. De rapporterede begrænsninger omfattede fine detaljer, layout, komplekse elementer og mindre kendt tekst, hvilket viser, hvorfor et enkelt nøjagtighedskrav ikke kan dække ethvert krav til dokumentlæsning.
Denne bredere kapacitet gør også formålet med et output vigtigere. En hjælpsom forklaring kan omskrive, mens en trofast udskrift skal bevare, hvad siden faktisk siger. Flydende formuleringer kan ikke fastslå, at et navn, beløb eller citat blev læst korrekt. Systemer har brug for evaluering, der passer til opgaven, uanset om det betyder tegn-nøjagtighed, læserækkefølge, tabelstruktur eller korrektheden af et udtrukket felt.
Gennem århundredet har retningen for fremskridt været mod mindre kontrolleret input og mere nyttigt output: fra foreskrevne tegn til almindelig tryk, håndskrift, fotografier og komplekse dokumenter. Nye tilgange fortsætter med at slutte sig til de etablerede. Den centrale udfordring forbliver genkendelig: at omdanne visuelle beviser til pålidelig information, mens de detaljer, der betyder noget, bevares.