Fény, hang és a gépi olvasás első megközelítései
Az OCR gyökerei részben abban a törekvésben rejlenek, hogy a nyomtatott szöveget hozzáférhetővé tegyék a vak olvasók számára. 1914-ben E. E. Fournier d'Albe leírt egy típusolvasó optofont, amely az oldalról visszaverődő fény mintázatait hallható jelekké alakította. A hallgató megtanulta értelmezni ezeket a jeleket. Ez egy optikai olvasást segítő eszköz volt, nem pedig egy olyan gép, amely automatikusan szöveges átiratot készített, de bebizonyította, hogy a nyomtatott jelek érzékelhetők és más formában ábrázolhatók.
Más feltalálók az automatikus karakterazonosítást követték. Gustav Tauschek olvasógép-szabadalma, amelyet 1928-ben nyújtottak be és 1930-ben tettek közzé, a karaktersablonokkal való fotoelektromos összehasonlítást szemléltette. A számjegyolvasó példája forgó kivágásokat használt az eszköz elé helyezett forma tesztelésére. Ezek a megközelítések az optikát, a mechanikus mozgást és az elektromos érzékelést ötvözték jóval azelőtt, hogy az általános célú digitális számítógépek elterjedtek volna.
A jel észlelése és a karakter azonosítása közötti különbség központi maradt az OCR számára. Az oldal rögzítése csak a kezdet volt: egy hasznos olvasónak képesnek kellett lennie a hasonló formák megkülönböztetésére és döntésének olyan formában történő kifejezésére, amelyet egy másik eszköz is használni tudott.
A karakterolvasók belépnek az üzleti folyamatokba
Az 1950-es években az automatikus olvasás közelebb került a mindennapi üzleti feldolgozáshoz. David Shepard olvasókészülék-szabadalmát 1951-ben nyújtották be, és 1953-ben adták ki. A National Bureau of Standards egy korabeli felmérése 1955-ban rögzített egy működő telepítést a Reader's Digestnél. Az ilyen rendszerek egy gyakorlati szűk keresztmetszetet kezeltek: a papírra már kinyomtatott információkat egyébként egy embernek kellett újra beírnia, mielőtt egy számítógép feldolgozhatta volna azokat.
Ezek az olvasók általában sokkal szűkebb feltételek mellett működtek, mint a mai általános dokumentumeszközök. A korlátozott karakterkészlet, az előre látható nyomtatás és az ellenőrzött elhelyezés kezelhetőbbé tette a felismerési problémát. A szkennert, a felismerő hardvert és a kimeneti mechanizmust összehangolt rendszerként tervezték, gyakran egy adott dokumentumtípushoz.
Ez jelentős változást jelentett a cél és a méret tekintetében. Az optikai olvasás az üzleti számítástechnika beviteli módjává vált. A siker a meghatározott munkaterhelés következetes feldolgozásán múlt, nem pedig annak bizonyításán, hogy egy gép laboratóriumi körülmények között képes felismerni néhány karaktert.
A szabványos betűtípusok megkönnyítik a nyomtatott szöveg felismerését
A felismerés javításának egyik módja a bevitel kiszámíthatóbbá tétele volt. A géppel olvasható betűtípusok, mint például az OCR-A és az OCR-B, meghatározott karakterformákat és nyomtatási követelményeket használtak, csökkentve az olvasó által kezelendő variációkat. Az OCR-B az ECMA-11 szabványban jelent meg 1965-ben, a későbbi kiadások pedig finomították a specifikációt. A szabványosítás segített abban, hogy a berendezések és a nyomtatott dokumentumok következetesebben működjenek együtt.
Ez a megközelítés a mérnöki munka egy részét magára a dokumentumra helyezte. Egy szigorúan ellenőrzött betűtípus megkönnyítheti egy számjegy megkülönböztetését egy másiktól, míg a meghatározott méretek és térközök csökkentették a bizonytalanságot a szkennelés során. A kompromisszum a rugalmasság volt: az ellenőrzött nyomtatásra tervezett olvasó nem tudott automatikusan kezelni minden újságot, könyvet vagy kézzel írott jegyzetet.
Az optikai karakterfelismerést meg kell különböztetni a mágneses tintás karakterfelismeréstől, vagyis a MICR-től. Mindkettő támogatta a dokumentumautomatizálást, de a MICR mágnesesen olvasható karaktereket érzékel, míg az OCR azok látható képét értelmezi. A két technológia egymás mellett fejlődött; nem ugyanannak az olvasási folyamatnak a különböző elnevezései.
Az omnifont felismerés elérhetővé teszi a hétköznapi nyomtatást
A következő cél az volt, hogy olyan anyagokat olvassanak, amelyeket nem kifejezetten gép számára nyomtattak. Az omnifont felismerés célja a hétköznapi betűtípusok széles skálájának kezelése volt, csökkentve az egyetlen előírt ábécére való támaszkodást. A név a fejlődés irányát írta le; nem jelentette azt, hogy minden betűtípust, szkennelést vagy oldalelrendezést hiba nélkül lehetett olvasni.
Kiemelkedő mérföldkő volt az a olvasógép, amelyet Ray Kurzweil és csapata mutatott be 13. 1976-én. Az American Foundation for the Blind számára készült szóbeli történetében Kurzweil leírja a szkennelés, a karakterfelismerés és a szintetizált beszéd kombinációját. Ezek az összetevők együttesen lehetővé tették, hogy a nyomtatott anyag beszélt kimenetté váljon, összekapcsolva a felismerést a teljes olvasási élménnyel.
Ugyanezek az alapvető fejlesztések támogatták a kereskedelmi adatbevitelt is. Az OCR értéke egyre inkább a meglévő dokumentumok kezelésétől függött, nem csak az olvasó korlátai köré tervezett dokumentumokétól. Ugyanakkor ezek a rendszerek megmutatták, miért nem elegendő az egyes betűk felismerése: a szavakat hasznos sorrendbe kellett rendezni, mielőtt hangosan felolvashatók vagy újra felhasználhatók lettek volna.
A szkennelés és az OCR az asztali munkafolyamat részévé válik
A személyi számítógépek és asztali szkennerek fejlődésével az OCR túllépett a dedikált olvasóberendezéseken. Az amerikai Környezetvédelmi Ügynökség 1990-es asztali szkenner-értékelése már gyakorlati irodai képességként kezelte a szövegfelismerést, összehasonlítva a papír használható számítógépes fájlokká történő konvertálására szolgáló berendezéseket és szoftvereket. Egy oldal beszkennelése és szövegének szövegszerkesztőbe történő átvitele egyre elérhetőbb munkafolyamattá vált.
A szoftvernek többet kellett tennie, mint az elszigetelt karakterek osztályozása. El kellett különítenie a szöveget a képektől, azonosítania kellett a sorokat és oszlopokat, kompenzálnia kellett a ferde szkenneléseket, és el kellett döntenie, hogyan jelenítse meg az oldalt egy szerkeszthető dokumentumban. A képtisztítás, az elrendezés elemzése, a szótárak és a kontextuális ellenőrzések a teljes felismerési folyamat fontos részévé váltak. Egy oldal tartalmazhatott többnyire helyes betűket, mégis jelentős javításra szorulhatott, ha az oszlopai összekeveredtek.
A PDF bevezetése 1993-ben hordozható módot kínált az oldalalapú dokumentumok cseréjére. A PDF egy dokumentumformátum volt, nem pedig felismerési módszer, de hasznos otthont biztosított a beszkennelt oldalaknak és a hozzájuk tartozó szövegnek. Az oldal megjelenésének megőrzése és a tartalom kereshetővé tétele immár kiegészítő célokká válhatott.
A kézíráskutatás és a neurális hálózatok megváltoztatják a felismerést
Az asztali használat elterjedésével párhuzamosan a kutatók a kevésbé kiszámítható írás felismerésének javításán dolgoztak. A NIST OCR programja 1989 és 1998 között kézzel írott űrlapokat és az amerikai népszámlálási hivatallal, valamint az IRS-sel kapcsolatos alkalmazásokat foglalt magában. A nyilvános adatkészletek és referenciarendszerek lehetővé tették a módszerek összehasonlítását közös példákon keresztül, ahelyett, hogy csak gondosan kiválasztott oldalakkal végzett bemutatókra támaszkodtak volna.
A neurális felismerés már ekkor is fontos része volt ennek a munkának. A 1998 című tanulmány, a „Gradient-Based Learning Applied to Document Recognition”, olyan konvolúciós hálózatokat írt le, amelyek példákból tanulták meg a hasznos vizuális jellemzőket, a felismerés, a szegmentálás és a nyelvi korlátok kombinálásának módszereivel együtt. Ez kiterjesztette a statisztikai mintafelismerés szélesebb körű történetét; a korábbi OCR szintén tartalmazott az egyszerű sablonillesztésen túlmutató módszereket.
A példákból való tanulás módot kínált a vonások és karakterformák variációinak kezelésére. Emellett a tanítóadatok és az értékelés fontosságát is növelte. Egy rendszer jól teljesíthetett az elszigetelt kézzel írott számjegyeken, mégis küszködhetett az összefüggő kézírással vagy ismeretlen űrlapokkal. Az egyik felismerési feladatban elért előrelépés értékes volt anélkül, hogy automatikusan megoldotta volna a dokumentumok minden más típusát.
A nagy digitális gyűjtemények az OCR-t felfedező eszközzé alakítják
A digitalizálási projektek kiterjesztették az OCR szerepét az oldal újrafelhasználásától az információk teljes gyűjteményeken átívelő felfedezéséig. A könyvtárak és levéltárak megőrizhették az újságok, könyvek és iratok képeit, miközben indexelték a felismert szövegüket. A Kongresszusi Könyvtár 2007 márciusában elindította a Chronicling America-t, amely kereshető forrást biztosított a kutatóknak a történelmi újságokhoz.
Ez megváltoztatta az archívumok megközelítésének módját. Egy név, helyszín vagy kifejezés közvetlenül egy releváns oldalhoz vezethetett anélkül, hogy az olvasónak minden egyes számot át kellett volna vizsgálnia. Az OCR a szkennelés, metaadatok, indexelés és visszakeresés nagyobb rendszerének részévé vált. Hasznosságát már nem csak az mérte, hogy az exportált dokumentum mennyire hasonlított a forrására.
A történelmi anyagok a tartós gyengeségeket is feltárták: sérült papír, régi betűtípusok, szabálytalan sorközök és összetett oszlopok. A felismerési hibák elrejthettek egy releváns keresési eredményt vagy félrevezető találatot eredményezhettek. Az eredeti oldal megtartása a gépi generálású szöveg mellett lehetővé tette az olvasók számára a felfedezések ellenőrzését, és a továbbfejlesztett felismerést a meglévő digitális gyűjtemények gazdagításának eszközévé tette anélkül, hogy minden elemet újra kellett volna szkennelni.
Teljes szekvenciák olvasása az egyes karakterek elválasztása nélkül
A kézírás-felismerés egyik régóta fennálló nehézsége annak eldöntése volt, hol végződik az egyik karakter és hol kezdődik a következő. Az összefüggő vonások és az egymást átfedő betűk törékennyé tették a szigorú „vágás, majd osztályozás” folyamatot. A statisztikai szekvenciamódszerek, beleértve a rejtett Markov-modelleket, már foglalkoztak ezzel a problémával. A visszacsatolt neurális hálózatok (RNN) egy másik módot kínáltak a környező információk felhasználására egy sor értelmezése közben. A hosszú rövid távú memória (LSTM) hálózatok, a visszacsatolt hálózatok egy típusa, segítettek megőrizni a kontextust egy szekvencián keresztül, ahelyett, hogy minden kis régiót függetlenül ítéltek volna meg.
A 2006-ban bevezetett Connectionist Temporal Classification (CTC) olyan képzési módszert biztosított a bemeneti szekvenciák és a szövegcímkék összeillesztésére, amely nem igényelte az egyes karakterek pozíciójának előzetes megjelölését. Az eredeti tanulmány a beszédet értékelte, míg a későbbi munkák a kézírásra alkalmazták a megközelítést. Egy 2009-es tanulmány a szekvenciaképzést olyan visszacsatolt hálózatokkal kombinálta, amelyek mindkét irányból származó kontextust használtak a kötetlen kézírásos sorok felismerésére.
Ez csökkentette a tökéletes, karakterenkénti szegmentálástól való függőséget, és segített a sor szintű felismerést praktikusabbá tenni. Nem szüntette meg az összes előkészítő lépést: a rendszernek továbbra is meg kellett találnia a szöveget, azonosítania kellett a sorokat és kezelnie kellett az oldal tájolását. A fontos változás az volt, hogy a felismerés képes volt megtanulni az igazítást a kép szekvenciája és az átirata között, ahelyett, hogy előzetesen megkapta volna az összes karakterhatárt.
A mélytanulás az OCR-t az asztali lapolvasón túlra viszi
A lefényképezett szöveg ismét kiszélesítette a problémát. Egy asztalon lévő nyugta, egy bolti felirat vagy egy szögben rögzített oldal árnyékokat, perspektivikus torzítást és zavaró hátteret tartalmazhat. Mielőtt felismerte volna a szavakat, a rendszernek meg kellett találnia azokat. A szövegfelismerés és a szövegészlelés ezért szorosan összefüggő kutatási feladatokká váltak, amelyek gyakorlati jelentőséggel bírnak a kameraalapú olvasás és fordítás terén.
A mélytanulás mindkét szakaszt javította. Egy 2015-as jelenetszöveg-tanulmány a konvolúciós képjellemzőket, a visszacsatolt szekvencia-feldolgozást és az átírást egyetlen tanítható felismerő rendszerbe kombinálta. Ahelyett, hogy a jellemzők kinyerését és az olvasást teljesen különálló, kézzel készített komponensekként kezelték volna, a kutatók optimalizálhatták azokat együtt. A megközelítés a különböző hosszúságú szavakat is kezelte anélkül, hogy először minden betűt elszigetelt volna.
A teljesítménymutatók egyre inkább az ellenőrizetlen rögzítési körülményeket tükrözték. A 2015 ICDAR Robust Reading Competition kiegészült az esetleges jelenetszövegekkel, kiterjesztve az értékelést azokon a képeken túlra is, amelyek szándékosan olvasható szavakra voltak keretezve. Ez olyan rendszereket ösztönzött, amelyek képesek megbirkózni azzal a szöveggel, amellyel az emberek a mindennapi fényképeken találkoznak. Azt is világossá tette, hogy a tiszta, beszkennelt dokumentumokon nyújtott teljesítmény nem írja le teljes mértékben az olvasó képességeit a tágabb vizuális világban.
A szintetikus tanítóadatok és a többnyelvű teljesítménymutatók szélesítik a lefedettséget
A jobb tanulási módszerekhez változatosabb példákra is szükség volt. A szintetikus tanítóképek lehetővé tették a kutatók számára, hogy különböző betűtípusú, méretű, színű és hátterű szövegeket generáljanak anélkül, hogy minden új fényképet manuálisan feliratoztak volna. A 2016-ban közzétett oxfordi kutatás mesterséges szöveget helyezett el valós jelenetekben, figyelembe véve azok geometriáját, ezzel nagy mennyiségű tanítóanyagot biztosítva a szövegészleléshez. A generált példák kiegészítették a valódi képeket azáltal, hogy bizonyos variációkat könnyebben előállíthatóvá tettek nagy léptékben.
A többnyelvű értékelés ezzel párhuzamosan bővült. A 2017 ICDAR többnyelvű kihívás kilenc nyelvet tartalmazott, amelyek hat írásrendszert képviseltek; a 2019 utódja egy újabb nyelvvel és egy végpontok közötti felismerési feladattal bővült. Ezek a teljesítménymutatók a vegyes írásrendszereket, a különböző tájolásokat és az írásrendszerek szélesebb körét hozták közös értékelési környezetbe.
A szélesebb körű tanulság az volt, hogy a nyelvi támogatás sokkal többet jelent, mint karakterek hozzáadását egy ábécéhez. A rendszereknek megfelelő tanítási példákra és olyan módszerekre volt szükségük, amelyek képesek megbirkózni a különböző karakterstruktúrákkal, az összefüggő írással és az olvasási irányokkal. A megosztott adatkészletek megkönnyítették az ilyen különbségek mérését, miközben feltárták a jól reprezentált nyelvek és a kevésbé ismert anyagok közötti teljesítménybeli szakadékokat.
A figyelem és az elrendezés-tudatos tanulás összekapcsolja a szavakat az oldal szerkezetével
A 2017-ban nyelvi feladatokhoz bevezetett transzformátor architektúra hatékony módot biztosított a szekvenciák közötti kapcsolatok modellezésére a figyelem (attention) révén. Az OCR számára való jelentősége a szövegfelismerésben és dokumentumelemzésben való későbbi alkalmazások révén fejlődött ki. A figyelem lehetővé tette a rendszer számára, hogy az eredmény előállítása közben mérlegelje a bemenet releváns részeit, ezzel a konvolúciós és visszacsatolt hálózatok mellett egy újabb megközelítést adva.
A dokumentumkutatás a puszta átiratnál többre törekedett. Egy 2019 decemberében benyújtott és 2020-ben publikált tanulmány a felismert szöveget az oldalpozíciójával kombinálta az előtanítás során, majd vizuális jellemzőket is beépített a rendszer specifikus dokumentumfeladatokhoz való igazításakor. A helymeghatározás azért volt fontos, mert ugyanazok a szavak eltérő szerepet játszhatnak egy címsorban, egy címblokkban vagy egy űrlap sorában.
Ez segített összekapcsolni a felismerést az olyan feladatokkal, mint a dokumentumosztályozás és az információkinyerés. Egy szám elolvasása és számlaösszegként való azonosítása rokon, de eltérő műveletek; az oldal szerkezete nyomokat ad a másodikhoz. Az elrendezés-tudatos módszerek nem tették feleslegessé az OCR-t. Olyan módokat kínáltak a kimenetének a környező vizuális bizonyítékokkal való együttes használatára, amelyek a dokumentumfeldolgozást az elemek közötti kapcsolatok irányába terelték, ahelyett, hogy egyetlen szófolyamként kezelnék azokat.
A transzformerek olvassák a szöveget és közvetlenül generálják a dokumentumeredményeket
2021-ra a kutatók már közvetlenül a felismeréshez alkalmaztak előtanított kép- és szövegtranszformereket. Egy publikált megközelítés egy képkódolót párosított egy szövegdekódolóval, és nyomtatott, kézírásos, valamint jelenetbeli szövegeket értékelt. A nagy gyűjteményeken végzett előtanítás, amelyet egy specifikusabb feladatra való betanítás követett, egy másik utat kínált a vizuális minták megtanulására és koherens karakter- vagy szósorozatok előállítására.
Egy külön kutatási irány a strukturált dokumentumeredmények képekből való előállítását vizsgálta, anélkül, hogy először egy független, hagyományos OCR-motort futtatnának. A 2021 végén bemutatott és 2022-ben átdolgozott kutatás ezt a megközelítést demonstrálta a dokumentumértelmezéshez. A munkában használt OCR-mentes kifejezés egy külön OCR-fázis hiányát írja le; a rendszernek továbbra is ki kell nyernie a releváns írott információt a képből.
Ezek a fejlesztések bővítették az elérhető architektúrákat. Egy feldolgozórendszer felismerheti a szöveget, majd elemezheti azt, vagy betaníthat egy modellt a kért eredmény közvetlen előállítására. Egyik elrendezés sem garantál hibátlan kimenetet minden oldalon. A választás megváltoztatja, hogy hol keletkezhetnek hibák, hogyan ellenőrizhetők az eredmények, és milyen könnyen őrizhetők meg a köztes bizonyítékok, például a felismert szavak és azok pozíciói.
A multimodális rendszerek szélesítik a dokumentumolvasást és új teszteket állítanak
A közelmúlt multimodális rendszerei ötvözik a képfeldolgozást és a nyelvi generálást, lehetővé téve, hogy a dokumentumszöveg szélesebb körű interakciókban vegyen részt. A rendszertől és a feladattól függően a felhasználó kérhet átiratot, kérdést tehet fel egy oldalról, vagy kinyerhet bizonyos mezőket. A felismerés egyre inkább egy nagyobb dokumentum-munkafolyamat részévé válik, miközben a dedikált OCR továbbra is hasznos marad, ha a fő követelmény egy pontos, ellenőrizhető átirat.
Az értékelés ennek megfelelően bővült. A 2023-ban bevezetett OCRBench a felismerést dokumentumokkal kapcsolatos kérdésekkel, információkinyeréssel és kézírásos matematikai kifejezésekkel együtt vizsgálta. Utódja, amelyet 2024 végén adtak ki és 2025-ben átdolgoztak, a vizuális szövegek és érvelési feladatok szélesebb körét vizsgálta. A jelentett korlátok közé tartoztak a finom részletek, az elrendezés, a komplex elemek és a kevésbé ismert szövegek, ami megmutatja, miért nem ragadhat meg egyetlen pontossági állítás minden dokumentumolvasási követelményt.
Ez a szélesebb körű képesség a kimenet célját is fontosabbá teszi. Egy hasznos magyarázat parafrazeálhat, míg egy hű átiratnak meg kell őriznie azt, ami az oldalon ténylegesen szerepel. A folyékony megfogalmazás nem igazolja, hogy egy név, összeg vagy idézet helyesen lett-e elolvasva. A rendszereknek a feladathoz igazított értékelésre van szükségük, legyen szó karakterpontosságról, olvasási sorrendről, táblázatszerkezetről vagy egy kinyert mező helyességéről.
Az évszázad során a fejlődés iránya a kevésbé ellenőrzött bemenet és a hasznosabb kimenet felé mutatott: az előírt karakterektől a hétköznapi nyomtatott szövegekig, kézírásig, fényképekig és összetett dokumentumokig. Az új megközelítések továbbra is csatlakoznak a már beváltakhoz. A központi kihívás felismerhető marad: a vizuális bizonyítékok megbízható információvá alakítása, miközben megőrizzük a fontos részleteket.