Ljus, ljud och de första ansatserna till maskinläsning
Några av rötterna till OCR ligger i försök att göra tryckt text tillgänglig för blinda läsare. År 1914 beskrev E. E. Fournier d'Albe en typ-läsande optofon, som omvandlade ljusmönster från en sida till hörbara signaler. Lyssnaren lärde sig att tolka dessa signaler. Det var ett optiskt läshjälpmedel snarare än en maskin som automatiskt producerade en texttranskription, men det visade att tryckta märken kunde avläsas och representeras i en annan form.
Andra uppfinnare eftersträvade automatisk teckenidentifiering. Gustav Tauscheks patent för en läsmaskin, inlämnat 1928 och publicerat 1930, illustrerade fotoelektrisk jämförelse med teckenmallar. Dess exempel på sifferläsning använde roterande utskärningar för att testa formen som presenterades för enheten. Dessa metoder förde samman optik, mekanisk rörelse och elektrisk avkänning långt innan digitala datorer för allmänna ändamål blev vanliga.
Skillnaden mellan att upptäcka ett märke och att identifiera ett tecken förblev central för OCR. Att fånga sidan var bara början: en användbar läsare behövde också kunna skilja på liknande former och uttrycka sitt beslut i en form som en annan enhet kunde använda.
Teckenläsare gör entré i affärsverksamhet
Under 1950-talet kom automatisk läsning närmare vardaglig affärsbearbetning. David Shepards patent för läsapparatur lämnades in 1951 och utfärdades 1953. En samtida undersökning från National Bureau of Standards registrerade en produktionsinstallation hos Reader's Digest 1955. Sådana system löste en praktisk flaskhals: information som redan var tryckt på papper behövde annars matas in på nytt av en person innan en dator kunde bearbeta den.
Dessa läsare arbetade vanligtvis under mycket snävare förhållanden än dagens generella dokumentverktyg. En begränsad teckenuppsättning, förutsägbart tryck och kontrollerad placering gjorde igenkänningsproblemet mer hanterbart. Skannern, igenkänningshårdvaran och utmatningsmekanismen var utformade som ett samordnat system, ofta för en viss typ av dokument.
Detta var en betydande förändring i syfte och omfattning. Optisk läsning höll på att bli en inmatningsmetod för affärsberäkningar. Framgången berodde på konsekvent bearbetning av en definierad arbetsbelastning, snarare än på att visa att en maskin kunde känna igen några få tecken under laboratorieförhållanden.
Standardiserade typsnitt gör tryckt text lättare att känna igen
Ett sätt att förbättra igenkänningen var att göra inmatningen mer förutsägbar. Maskinläsbara typsnitt som OCR-A och OCR-B använde specificerade teckenformer och tryckkrav, vilket minskade variationen en läsare behövde hantera. OCR-B dök upp i ECMA-11-standarden 1965, med senare utgåvor som förfinade specifikationen. Standardisering hjälpte utrustning och tryckta dokument att fungera mer konsekvent tillsammans.
Detta tillvägagångssätt lade en del av ingenjörsarbetet på själva dokumentet. Ett strikt kontrollerat typsnitt kunde göra en siffra lättare att skilja från en annan, medan specificerade dimensioner och avstånd minskade osäkerheten under skanning. Avvägningen var flexibilitet: en läsare utformad kring kontrollerat tryck kunde inte automatiskt hantera varje tidning, bok eller handskriven anteckning.
Optisk teckenigenkänning bör också skiljas från magnetisk teckenigenkänning, eller MICR. Båda stödde dokumentautomatisering, men MICR känner av magnetiskt läsbara tecken, medan OCR tolkar deras synliga bild. De två teknikerna utvecklades parallellt; de är inte olika namn för samma läsprocess.
Omnifont-igenkänning gör vanligt tryck tillgängligt
Nästa ambition var att läsa material som inte hade tryckts speciellt för en maskin. Omnifont-igenkänning syftade till att hantera en rad vanliga typsnitt, vilket minskade beroendet av ett enda föreskrivet alfabet. Namnet beskrev den inriktningen av framsteg; det innebar inte att varje typsnitt, skanning eller sidlayout kunde läsas utan fel.
En framträdande milstolpe var läsmaskinen som introducerades av Ray Kurzweil och hans team den 13 januari 1976. I sin muntliga historia för American Foundation for the Blind beskriver Kurzweil kombinationen av skanning, teckenigenkänning och syntetiserat tal. Tillsammans gjorde dessa komponenter att tryckt material kunde bli talat utdata, vilket kopplade samman igenkänning med en komplett läsupplevelse.
Samma underliggande framsteg stödde också kommersiell datainmatning. Värdet av OCR berodde i allt högre grad på att hantera befintliga dokument, inte bara dokument utformade kring en läsares begränsningar. Samtidigt visade dessa system varför det var otillräckligt att känna igen enskilda bokstäver: ord behövde sättas samman i en användbar ordning innan de kunde läsas upp eller återanvändas.
Skanning och OCR blir en del av skrivbordsarbetsflödet
I takt med att persondatorer och skrivbordsskannrar utvecklades, flyttade OCR bortom dedikerade läsinstallationer. En utvärdering av skrivbordsskannrar från 1990 av den amerikanska miljöskyddsmyndigheten (EPA) behandlade redan textigenkänning som en praktisk kontorskapacitet, där utrustning och programvara för att konvertera papper till användbara datorfiler jämfördes. Att skanna en sida och överföra dess text till en ordbehandlare blev ett alltmer tillgängligt arbetsflöde.
Programvaran behövde göra mer än att klassificera isolerade tecken. Den behövde separera text från bilder, identifiera rader och kolumner, kompensera för lutande skanningar och bestämma hur sidan skulle representeras i ett redigerbart dokument. Bildrengöring, layoutanalys, ordböcker och kontextuella kontroller blev viktiga delar av den övergripande igenkänningsprocessen. En sida kunde innehålla mestadels korrekta bokstäver men ändå kräva omfattande reparation om dess kolumner blandades ihop.
Introduktionen av PDF i 1993 lade till ett portabelt sätt att utbyta sidbaserade dokument. PDF var ett dokumentformat, inte en igenkänningsmetod, men det gav ett användbart hem för skannade sidor och tillhörande text. Att bevara en sidas utseende och göra dess innehåll sökbart kunde nu vara kompletterande mål.
Handstilsforskning och neurala nätverk förändrar igenkänning
Vid sidan av användningen av stationära skannrar förbättrade forskare igenkänningen av mindre förutsägbar skrift. NIST:s OCR-program från 1989 till 1998 inkluderade handskrivna formulär och ansökningar som involverade US Census Bureau och IRS. Offentliga datamängder och referenssystem gjorde det möjligt att jämföra metoder mot delade exempel, istället för att bara förlita sig på demonstrationer med noggrant utvalda sidor.
Neural igenkänning var redan en viktig del av detta arbete. Artikeln 1998 Gradient-Based Learning Applied to Document Recognition beskrev faltningsnätverk som lärde sig användbara visuella särdrag från exempel, tillsammans med metoder för att kombinera igenkänning, segmentering och språkrestriktioner. Detta utökade en bredare historia av statistisk mönsterigenkänning; tidigare OCR inkluderade också metoder utöver enkel mallmatchning.
Att lära sig från exempel erbjöd ett sätt att hantera variationer i streck och teckenformer. Det gjorde också träningsdata och utvärdering viktigare. Ett system kunde prestera bra på isolerade handskrivna siffror men kämpa med sammanhängande handstil eller obekanta formulär. Framsteg inom en igenkänningsuppgift var värdefulla utan att automatiskt lösa varje annan typ av dokument.
Stora digitala samlingar gör OCR till ett upptäcktsverktyg
Digitaliseringsprojekt utökade OCRs roll från att återanvända en sida till att upptäcka information i hela samlingar. Bibliotek och arkiv kunde bevara bilder av tidningar, böcker och dokument samtidigt som de indexerade deras igenkända text. Library of Congress lanserade Chronicling America i mars 2007, vilket gav forskare en sökbar resurs för historiska tidningar.
Detta förändrade hur människor närmade sig ett arkiv. Ett namn, en plats eller en fras kunde leda direkt till en relevant sida utan att en läsare behövde granska varje utgåva. OCR blev en del av ett större system för skanning, metadata, indexering och hämtning. Dess användbarhet mättes inte längre bara av hur nära ett exporterat dokument liknade sin källa.
Historiskt material blottade också ihållande svagheter: skadat papper, gamla typsnitt, oregelbundet avstånd och komplexa kolumner. Igenkänningsfel kunde dölja ett relevant sökresultat eller producera en missvisande träff. Att behålla originalsidan tillsammans med maskingenererad text gjorde det möjligt för läsare att verifiera upptäckter, och gjorde förbättrad igenkänning till ett sätt att berika en befintlig digital samling utan att behöva skanna om varje objekt.
Läsa hela sekvenser utan att separera varje tecken
En långvarig svårighet inom handstilsigenkänning var att avgöra var ett tecken slutade och nästa började. Sammanhängande streck och överlappande bokstäver gjorde en strikt klipp-och-klassificera-process skör. Statistiska sekvensmetoder, inklusive dolda Markov-modeller, hanterade redan detta problem. Recurrenta neurala nätverk erbjöd ett annat sätt att använda närliggande information vid tolkning av en rad. Long short-term memory (LSTM)-nätverk, en typ av recurrent nätverk, hjälpte till att behålla kontext över en sekvens istället för att bedöma varje liten region oberoende.
Connectionist Temporal Classification, introducerat 2006, tillhandahöll en träningsmetod för att matcha indatasekvenser till textetiketter utan att kräva att varje teckens position markeras i förväg. Den ursprungliga artikeln utvärderade tal, medan efterföljande arbete tillämpade metoden på handstil. En 2009-artikel kombinerade sekvensträning med recurrenta nätverk som använde kontext från båda riktningarna för att känna igen obegränsade handskrivna rader.
Detta minskade beroendet av perfekt tecken-för-tecken-segmentering och bidrog till att göra radbaserad igenkänning mer praktisk. Det tog inte bort varje förberedelsesteg: ett system kunde fortfarande behöva lokalisera texten, identifiera rader och hantera sidorientering. Den viktiga förändringen var att igenkänningen kunde lära sig en anpassning mellan en bildsekvens och dess transkription istället för att ta emot varje teckengräns i förväg.
Deep learning tar OCR bortom flatbäddsskannern
Fotograferad text vidgade problemet igen. Ett kvitto på ett skrivbord, en butiksskylt eller en sida tagen i vinkel kan innehålla skuggor, perspektivförvrängning och en distraherande bakgrund. Innan orden känns igen måste ett system hitta dem. Textdetektering och textigenkänning blev därför nära sammankopplade forskningsuppgifter, med praktisk relevans för kamerabaserad läsning och översättning.
Deep learning förbättrade båda stadierna. En 2015-artikel om scen-text kombinerade faltningsbaserade bildsärdrag, recurrent sekvensbearbetning och transkription i ett träningsbart igenkänningssystem. Istället för att behandla särdragsutvinning och läsning som helt separata handgjorda komponenter, kunde forskare optimera dem tillsammans. Metoden hanterade också ord av olika längd utan att först isolera varje bokstav.
Jämförelsetester återspeglade i allt högre grad okontrollerade fångstförhållanden. 2015 ICDAR Robust Reading Competition lade till tillfällig scen-text, vilket utökade utvärderingen bortom bilder som medvetet ramats in kring läsbara ord. Detta uppmuntrade system som kunde hantera den text människor möter i vardagliga fotografier. Det klargjorde också att prestanda på rena skannade dokument inte fullt ut beskrev en läsares förmåga i den bredare visuella världen.
Syntetisk träningsdata och flerspråkiga jämförelsetester breddar täckningen
Bättre inlärningsmetoder krävde också mer varierade exempel. Syntetiska träningsbilder lät forskare generera text i olika typsnitt, storlekar, färger och bakgrunder utan att manuellt märka varje nytt fotografi. Oxford-forskning publicerad 2016 placerade artificiell text i verkliga scener samtidigt som man tog hänsyn till deras geometri, vilket gav stora mängder träningsmaterial för textdetektering. Genererade exempel kompletterade verkliga bilder genom att göra specifika variationer lättare att producera i stor skala.
Flerspråkig utvärdering expanderade parallellt. 2017 ICDAR-utmaningen för flerspråkighet inkluderade nio språk som representerade sex skriftsystem; dess 2019-efterföljare lade till ett språk och en end-to-end-igenkänningsuppgift. Dessa jämförelsetester förde in blandade skriftsystem, olika orienteringar och ett bredare utbud av skriftsystem i en gemensam utvärderingsmiljö.
Den bredare lärdomen var att språkstöd innebar mycket mer än att lägga till tecken i ett alfabet. System behövde lämpliga träningsexempel och metoder som kunde hantera olika teckenstrukturer, sammanhängande skrift och läsriktningar. Delade datamängder gjorde sådana skillnader lättare att mäta, samtidigt som de avslöjade klyftor mellan prestanda på välrepresenterade språk och på mindre bekant material.
Attention och layoutmedveten inlärning kopplar ord med sidstruktur
Transformer-arkitekturen, introducerad 2017 för språkuppgifter, gav ett kraftfullt sätt att modellera relationer över en sekvens genom attention. Dess betydelse för OCR utvecklades genom senare tillämpningar på textigenkänning och dokumentanalys. Attention tillät ett system att väga relevanta delar av sin indata samtidigt som det producerade ett resultat, vilket lade till ytterligare en metod vid sidan av faltningsbaserade och recurrenta nätverk.
Dokumentforskning handlade också om att se bortom en enkel avskrift. En studie som lämnades in i december 2019 och publicerades i 2020 kombinerade igenkänd text med dess sidposition under förträning, och införlivade sedan visuella egenskaper vid anpassning av systemet till specifika dokumentuppgifter. Platsen var viktig eftersom samma ord kunde spela olika roller i en rubrik, ett adressblock eller en rad i ett formulär.
Detta hjälpte till att koppla igenkänning till uppgifter som dokumentklassificering och extrahering av information. Att läsa ett nummer och identifiera det som en fakturasumma är relaterade men distinkta operationer; sidstrukturen ger ledtrådar för den senare. Layoutmedvetna metoder gjorde inte OCR onödigt. De erbjöd sätt att använda dess utdata tillsammans med den omgivande visuella bevisningen, vilket flyttade dokumentbearbetning mot relationer mellan element snarare än en enskild ström av ord.
Transformers läser text och genererar dokumentresultat direkt
Vid 2021 tillämpade forskare förtränade bild- och text-transformers direkt på igenkänning. En publicerad metod parade ihop en bildkodare med en textavkodare och utvärderade tryckt, handskriven och scen-text. Förträning på stora samlingar, följt av träning för en mer specifik uppgift, erbjöd en annan väg till att lära sig visuella mönster och producera sammanhängande tecken- eller ordsekvenser.
En separat arbetslinje utforskade generering av strukturerade dokumentresultat från bilder utan att först köra en oberoende konventionell OCR-motor. Forskning som introducerades sent 2021 och reviderades 2022 demonstrerade denna metod för dokumentförståelse. Termen OCR-fri i det arbetet beskriver frånvaron av ett separat OCR-steg; systemet måste fortfarande härleda relevant skriven information från bilden.
Dessa utvecklingar utökade de tillgängliga arkitekturerna. Ett bearbetningssystem kan känna igen text och sedan analysera den, eller träna en modell att producera ett begärt resultat direkt. Ingen av konfigurationerna garanterar korrekt utdata på varje sida. Valet ändrar var fel kan uppstå, hur resultat inspekteras och hur enkelt mellanliggande bevis, såsom igenkända ord och deras positioner, kan behållas.
Multimodala system breddar dokumentläsning och skapar nya tester
Nya multimodala system kombinerar bildbearbetning och språkgenerering, vilket gör att dokumenttext kan delta i bredare interaktioner. Beroende på system och uppgift kan en användare begära en avskrift, ställa en fråga om en sida eller extrahera specifika fält. Igenkänning ingår i allt högre grad i ett större dokumentarbetsflöde, medan dedikerad OCR förblir användbar när huvudkravet är en exakt, inspekterbar avskrift.
Utvärderingen har expanderat i enlighet med detta. OCRBench, som introducerades 2023, betraktade igenkänning tillsammans med dokumentfrågor, informationsutvinning och handskrivna matematiska uttryck. Dess efterföljare, som släpptes i slutet av 2024 och reviderades 2025, undersökte en bredare uppsättning visuell text och resonemangsuppgifter. De rapporterade begränsningarna inkluderade fina detaljer, layout, komplexa element och mindre bekant text, vilket visar varför ett enskilt noggrannhetspåstående inte kan fånga varje krav på dokumentläsning.
Denna bredare kapacitet gör också syftet med ett utdata viktigare. En hjälpsam förklaring kan parafrasera, medan en trogen avskrift måste bevara vad sidan faktiskt säger. Flytande formuleringar kan inte fastställa att ett namn, belopp eller citat lästes korrekt. System behöver utvärdering som är anpassad för uppgiften, oavsett om det innebär teckennoggrannhet, läsordning, tabellstruktur eller korrektheten i ett extraherat fält.
Under århundradet har utvecklingens riktning gått mot mindre kontrollerad inmatning och mer användbar utdata: från föreskrivna tecken till vanlig tryckt text, handstil, fotografier och komplexa dokument. Nya metoder fortsätter att ansluta sig till etablerade. Den centrala utmaningen förblir igenkännbar: att förvandla visuell bevisning till tillförlitlig information samtidigt som de detaljer som betyder något bevaras.