Światło, dźwięk i pierwsze podejścia do maszynowego czytania
Niektóre korzenie OCR tkwią w próbach udostępnienia druku osobom niewidomym. W 1914 roku E. E. Fournier d'Albe opisał optofon czytający pismo, który przekształcał wzorce światła ze strony w sygnały dźwiękowe. Słuchacz uczył się interpretować te sygnały. Była to optyczna pomoc w czytaniu, a nie maszyna automatycznie tworząca transkrypcję tekstową, ale pokazała ona, że znaki drukowane mogą być wykrywane i reprezentowane w innej formie.
Inni wynalazcy dążyli do automatycznej identyfikacji znaków. Patent maszyny czytającej Gustava Tauscheka, złożony w 1928 i opublikowany w 1930 roku, ilustrował fotoelektryczne porównanie z szablonami znaków. Przykład czytania cyfr wykorzystywał obracające się wycięcia do testowania kształtu prezentowanego urządzeniu. Podejścia te łączyły optykę, ruch mechaniczny i czujniki elektryczne na długo przed upowszechnieniem się ogólnych komputerów cyfrowych.
Rozróżnienie między wykrywaniem znaku a identyfikacją znaku pozostało kluczowe dla OCR. Przechwycenie strony było dopiero początkiem: użyteczny czytnik musiał również odróżniać podobne kształty i wyrażać swoją decyzję w formie, którą mogłoby wykorzystać inne urządzenie.
Czytniki znaków wchodzą do procesów biznesowych
W latach 1950 automatyczne czytanie zbliżyło się do codziennego przetwarzania biznesowego. Patent aparatu czytającego Davida Sheparda został złożony w 1951 i wydany w 1953 roku. Współczesne badanie National Bureau of Standards odnotowało instalację produkcyjną w Reader's Digest w 1955 roku. Systemy te rozwiązywały praktyczny problem: informacje wydrukowane na papierze musiały być ręcznie wprowadzane, zanim komputer mógł je przetworzyć.
Czytniki te zazwyczaj pracowały w znacznie węższych warunkach niż dzisiejsze ogólne narzędzia do dokumentów. Ograniczony zestaw znaków, przewidywalny druk i kontrolowane rozmieszczenie sprawiały, że problem rozpoznawania był łatwiejszy do opanowania. Skaner, sprzęt rozpoznający i mechanizm wyjściowy były projektowane jako skoordynowany system, często dla konkretnej klasy dokumentów.
Była to znacząca zmiana w celu i skali. Czytanie optyczne stawało się metodą wprowadzania danych dla informatyki biznesowej. Sukces zależał od spójnego przetwarzania zdefiniowanego nakładu pracy, a nie od wykazania, że maszyna potrafi rozpoznać kilka znaków w warunkach laboratoryjnych.
Standaryzowane czcionki ułatwiają rozpoznawanie tekstu drukowanego
Jednym ze sposobów poprawy rozpoznawania było uczynienie danych wejściowych bardziej przewidywalnymi. Kroje pisma czytelne dla maszyn, takie jak OCR-A i OCR-B, wykorzystywały określone kształty znaków i wymagania drukarskie, redukując zmienność, z którą musiał radzić sobie czytnik. OCR-B pojawił się w standardzie ECMA-11 w 1965 roku, a późniejsze wydania doprecyzowały specyfikację. Standaryzacja pomogła sprzętowi i dokumentom drukowanym współpracować w bardziej spójny sposób.
To podejście przeniosło część wysiłku inżynieryjnego na sam dokument. Ściśle kontrolowany krój pisma mógł sprawić, że cyfrę łatwiej było odróżnić od innej, podczas gdy określone wymiary i odstępy zmniejszały niepewność podczas skanowania. Kompromisem była elastyczność: czytnik zaprojektowany wokół kontrolowanego druku nie mógł automatycznie obsłużyć każdej gazety, książki czy odręcznej notatki.
Optyczne rozpoznawanie znaków należy również odróżnić od rozpoznawania znaków magnetycznych, czyli MICR. Oba wspierały automatyzację dokumentów, ale MICR wykrywa znaki czytelne magnetycznie, podczas gdy OCR interpretuje ich widzialny obraz. Obie technologie rozwijały się obok siebie; nie są to różne nazwy tego samego procesu czytania.
Rozpoznawanie Omnifont sprawia, że zwykły druk staje się dostępny
Kolejną ambicją było czytanie materiałów, które nie zostały specjalnie wydrukowane dla maszyny. Rozpoznawanie Omnifont miało na celu obsługę szeregu zwykłych krojów pisma, zmniejszając zależność od jednego narzuconego alfabetu. Nazwa opisywała ten kierunek postępu; nie oznaczało to, że każda czcionka, skan czy układ strony mógł być odczytany bezbłędnie.
Znaczącym kamieniem milowym była maszyna czytająca wprowadzona przez Raya Kurzweila i jego zespół 13 stycznia 1976 roku. W swojej historii mówionej dla American Foundation for the Blind, Kurzweil opisuje połączenie skanowania, rozpoznawania znaków i syntezy mowy. Razem te komponenty pozwoliły na przekształcenie materiałów drukowanych w mowę, łącząc rozpoznawanie z pełnym doświadczeniem czytania.
Te same podstawowe postępy wspierały również komercyjne wprowadzanie danych. Wartość OCR coraz bardziej zależała od obsługi istniejących dokumentów, a nie tylko dokumentów zaprojektowanych wokół ograniczeń czytnika. Jednocześnie systemy te pokazały, dlaczego rozpoznawanie pojedynczych liter było niewystarczające: słowa musiały być zestawione w użytecznej kolejności, zanim mogły zostać odczytane na głos lub ponownie wykorzystane.
Skanowanie i OCR stają się częścią pracy biurowej
Wraz z rozwojem komputerów osobistych i skanerów stacjonarnych, OCR wykroczyło poza dedykowane instalacje czytające. Ocena skanerów stacjonarnych przeprowadzona przez amerykańską Agencję Ochrony Środowiska w 1990 roku traktowała już rozpoznawanie tekstu jako praktyczną funkcję biurową, porównując sprzęt i oprogramowanie do konwersji papieru na użyteczne pliki komputerowe. Skanowanie strony i przenoszenie jej tekstu do edytora tekstu stało się coraz bardziej przystępnym procesem pracy.
Oprogramowanie musiało robić więcej niż tylko klasyfikować odizolowane znaki. Musiało oddzielać tekst od obrazów, identyfikować linie i kolumny, kompensować krzywe skany i decydować, jak przedstawić stronę w edytowalnym dokumencie. Czyszczenie obrazu, analiza układu, słowniki i sprawdzanie kontekstowe stały się ważnymi częściami ogólnego procesu rozpoznawania. Strona mogła zawierać w większości poprawne litery, a mimo to wymagać znacznej naprawy, jeśli jej kolumny były wymieszane.
Wprowadzenie PDF w 1993 dodało przenośny sposób wymiany dokumentów opartych na stronach. PDF był formatem dokumentu, a nie metodą rozpoznawania, ale zapewnił użyteczne miejsce dla zeskanowanych stron i powiązanego tekstu. Zachowanie wyglądu strony i uczynienie jej zawartości przeszukiwalną mogło teraz stać się uzupełniającymi się celami.
Badania nad pismem odręcznym i sieci neuronowe zmieniają rozpoznawanie
Równolegle z popularyzacją skanerów stacjonarnych, naukowcy pracowali nad poprawą rozpoznawania mniej przewidywalnego pisma. Program NIST OCR w latach 1989–1998 obejmował odręcznie wypełniane formularze i wnioski, angażując amerykańskie Biuro Spisu Ludności oraz IRS. Publiczne zbiory danych i systemy referencyjne umożliwiły porównywanie metod na podstawie wspólnych przykładów, zamiast polegania wyłącznie na prezentacjach z wyselekcjonowanymi stronami.
Rozpoznawanie neuronowe było już ważną częścią tej pracy. Artykuł 1998 „Gradient-Based Learning Applied to Document Recognition” opisał sieci splotowe, które uczyły się użytecznych cech wizualnych na podstawie przykładów, wraz z metodami łączenia rozpoznawania, segmentacji i ograniczeń językowych. Rozszerzyło to szerszą historię statystycznego rozpoznawania wzorców; wcześniejsze OCR również obejmowały metody wykraczające poza proste dopasowywanie szablonów.
Uczenie się na przykładach oferowało sposób na uwzględnienie różnic w pociągnięciach pisma i kształtach znaków. Sprawiło to również, że dane treningowe i ocena stały się ważniejsze. System mógł dobrze radzić sobie z izolowanymi cyframi pisanymi odręcznie, a jednocześnie mieć trudności z pismem łączonym lub nieznanymi formularzami. Postęp w jednym zadaniu rozpoznawania był cenny, nawet jeśli nie rozwiązywał automatycznie każdego innego rodzaju dokumentu.
Duże zbiory cyfrowe zmieniają OCR w narzędzie odkrywania
Projekty digitalizacji rozszerzyły rolę OCR z ponownego wykorzystania strony na odkrywanie informacji w całych kolekcjach. Biblioteki i archiwa mogły zachowywać obrazy gazet, książek i dokumentów, indeksując jednocześnie rozpoznany tekst. Biblioteka Kongresu uruchomiła w marcu 2007 serwis Chronicling America, dając badaczom przeszukiwalne źródło historycznych gazet.
To zmieniło sposób, w jaki ludzie podchodzili do archiwum. Nazwisko, miejsce lub fraza mogły prowadzić bezpośrednio do odpowiedniej strony bez konieczności przeglądania każdego wydania przez czytelnika. OCR stało się częścią większego systemu skanowania, metadanych, indeksowania i wyszukiwania. Jego użyteczność nie była już mierzona tylko tym, jak bardzo wyeksportowany dokument przypominał oryginał.
Materiały historyczne ujawniły również trwałe słabości: zniszczony papier, stare kroje pisma, nieregularne odstępy i złożone kolumny. Błędy w rozpoznawaniu mogły ukryć istotny wynik wyszukiwania lub doprowadzić do mylącego dopasowania. Przechowywanie oryginalnej strony obok tekstu wygenerowanego maszynowo pozwalało czytelnikom weryfikować odkrycia i sprawiało, że ulepszone rozpoznawanie stawało się sposobem na wzbogacenie istniejącej kolekcji cyfrowej bez konieczności ponownego skanowania każdego elementu.
Czytanie całych sekwencji bez rozdzielania każdego znaku
Długotrwałą trudnością w rozpoznawaniu pisma odręcznego było ustalenie, gdzie kończy się jeden znak, a zaczyna kolejny. Połączone pociągnięcia i nakładające się litery sprawiały, że proces „tnij, a potem klasyfikuj” był mało stabilny. Statystyczne metody sekwencyjne, w tym ukryte modele Markowa, już wcześniej zajmowały się tym problemem. Rekurencyjne sieci neuronowe oferowały inny sposób wykorzystania informacji sąsiednich podczas interpretacji linii. Sieci typu Long Short-Term Memory (LSTM), będące rodzajem sieci rekurencyjnych, pomagały zachować kontekst w całej sekwencji, zamiast oceniać każdy mały obszar niezależnie.
Metoda Connectionist Temporal Classification, wprowadzona w 2006, zapewniła sposób trenowania dopasowujący sekwencje wejściowe do etykiet tekstowych bez konieczności wcześniejszego oznaczania pozycji każdego znaku. Oryginalny artykuł dotyczył mowy, podczas gdy późniejsze prace zastosowały to podejście do pisma odręcznego. Artykuł z 2009 połączył trenowanie sekwencyjne z sieciami rekurencyjnymi, które wykorzystywały kontekst z obu kierunków do rozpoznawania nieograniczonych linii pisma odręcznego.
Zmniejszyło to zależność od idealnej segmentacji znak po znaku i pomogło uczynić rozpoznawanie na poziomie linii bardziej praktycznym. Nie wyeliminowało to wszystkich kroków przygotowawczych: system nadal mógł potrzebować zlokalizowania tekstu, zidentyfikowania linii i obsługi orientacji strony. Ważną zmianą było to, że rozpoznawanie mogło nauczyć się dopasowania między sekwencją obrazu a jego transkrypcją, zamiast otrzymywać granice każdego znaku z góry.
Głębokie uczenie przenosi OCR poza skaner płaski
Fotografowany tekst ponownie poszerzył zakres problemu. Paragon na biurku, szyld sklepowy lub strona uchwycona pod kątem mogły zawierać cienie, zniekształcenia perspektywy i rozpraszające tło. Zanim system rozpoznał słowa, musiał je znaleźć. Wykrywanie tekstu i rozpoznawanie tekstu stały się zatem ściśle powiązanymi zadaniami badawczymi, mającymi praktyczne znaczenie dla czytania i tłumaczenia opartego na aparatach fotograficznych.
Głębokie uczenie usprawniło oba etapy. Artykuł o tekście w scenach 2015 połączył splotowe cechy obrazu, rekurencyjne przetwarzanie sekwencji i transkrypcję w jednym systemie rozpoznawania zdolnym do uczenia się. Zamiast traktować ekstrakcję cech i czytanie jako całkowicie oddzielne, ręcznie tworzone komponenty, naukowcy mogli optymalizować je razem. Podejście to obsługiwało również słowa o różnej długości bez konieczności wcześniejszego izolowania każdej litery.
Benchmarki coraz częściej odzwierciedlały niekontrolowane warunki przechwytywania. Konkurs ICDAR Robust Reading Competition 2015 dodał incydentalny tekst w scenach, rozszerzając ocenę poza obrazy celowo wykadrowane wokół czytelnych słów. Zachęciło to do tworzenia systemów, które radzą sobie z tekstem napotykanym przez ludzi na codziennych zdjęciach. Wyjaśniło to również, że wydajność na czystych zeskanowanych dokumentach nie w pełni opisuje możliwości czytnika w szerszym świecie wizualnym.
Syntetyczne dane treningowe i wielojęzyczne benchmarki poszerzają zasięg
Lepsze metody uczenia wymagały również bardziej zróżnicowanych przykładów. Syntetyczne obrazy treningowe pozwoliły naukowcom generować tekst w różnych czcionkach, rozmiarach, kolorach i tłach bez ręcznego etykietowania każdej nowej fotografii. Badania z Oksfordu opublikowane w 2016 umieszczały sztuczny tekst w rzeczywistych scenach, uwzględniając ich geometrię, zapewniając duże ilości materiału treningowego do wykrywania tekstu. Wygenerowane przykłady uzupełniały rzeczywiste obrazy, ułatwiając tworzenie konkretnych wariantów na dużą skalę.
Wielojęzyczna ocena rozwijała się równolegle. Wielojęzyczne wyzwanie ICDAR 2017 obejmowało dziewięć języków reprezentujących sześć systemów pisma; jego następca z 2019 dodał kolejny język i zadanie rozpoznawania typu end-to-end. Benchmarki te wprowadziły mieszane systemy pisma, różne orientacje i szerszy zakres systemów pisania do wspólnego środowiska oceny.
Szersza lekcja płynąca z tego była taka, że wsparcie językowe obejmowało znacznie więcej niż tylko dodawanie znaków do alfabetu. Systemy potrzebowały odpowiednich przykładów treningowych i metod, które mogłyby poradzić sobie z różnymi strukturami znaków, pismem łączonym i kierunkami czytania. Wspólne zbiory danych ułatwiły mierzenie takich różnic, jednocześnie ujawniając luki między wydajnością w językach dobrze reprezentowanych a materiałami mniej znanymi.
Uczenie oparte na mechanizmie uwagi i świadomości układu łączy słowa ze strukturą strony
Architektura transformera, wprowadzona w 2017 dla zadań językowych, zapewniła potężny sposób modelowania relacji w sekwencji poprzez mechanizm uwagi (attention). Jej znaczenie dla OCR rozwinęło się dzięki późniejszym zastosowaniom w rozpoznawaniu tekstu i analizie dokumentów. Mechanizm uwagi pozwolił systemowi ważyć istotne części danych wejściowych podczas generowania wyniku, dodając kolejne podejście obok sieci splotowych i rekurencyjnych.
Badania nad dokumentami wykraczały również poza zwykłą transkrypcję. Badanie przedłożone w grudniu 2019 i opublikowane w 2020 połączyło rozpoznany tekst z jego pozycją na stronie podczas wstępnego trenowania, a następnie uwzględniło cechy wizualne podczas dostosowywania systemu do konkretnych zadań związanych z dokumentami. Lokalizacja miała znaczenie, ponieważ te same słowa mogły pełnić różne role w nagłówku, bloku adresowym lub wierszu formularza.
Pomogło to powiązać rozpoznawanie z zadaniami takimi jak klasyfikacja dokumentów i ekstrakcja informacji. Odczytanie liczby i zidentyfikowanie jej jako sumy faktury to operacje powiązane, ale odrębne; struktura strony dostarcza wskazówek dla tej drugiej. Metody uwzględniające układ nie sprawiły, że OCR stało się zbędne. Oferowały one sposoby wykorzystania jego wyników wraz z otaczającymi dowodami wizualnymi, przesuwając przetwarzanie dokumentów w stronę relacji między elementami, a nie pojedynczego strumienia słów.
Transformery czytają tekst i generują wyniki dokumentów bezpośrednio
Do 2021 roku naukowcy stosowali wstępnie wytrenowane transformery obrazu i tekstu bezpośrednio do rozpoznawania. Jedno z opublikowanych podejść łączyło koder obrazu z dekoderem tekstu i oceniało tekst drukowany, odręczny oraz tekst w scenach. Wstępne trenowanie na dużych zbiorach, po którym następowało trenowanie do bardziej konkretnego zadania, oferowało inną drogę do uczenia się wzorców wizualnych i tworzenia spójnych sekwencji znaków lub słów.
Odrębny nurt prac badał generowanie ustrukturyzowanych wyników dokumentów z obrazów bez uprzedniego uruchamiania niezależnego, konwencjonalnego silnika OCR. Badania wprowadzone pod koniec 2021 i zrewidowane w 2022 zademonstrowały to podejście do rozumienia dokumentów. Termin OCR-free w tej pracy opisuje brak oddzielnego etapu OCR; system nadal musi wyodrębnić istotne informacje pisemne z obrazu.
Te osiągnięcia poszerzyły dostępne architektury. System przetwarzania może rozpoznawać tekst, a następnie go analizować, lub trenować model do bezpośredniego generowania żądanego wyniku. Żaden z tych układów nie gwarantuje wiernego wyniku na każdej stronie. Wybór zmienia miejsce, w którym mogą pojawić się błędy, sposób sprawdzania wyników oraz łatwość zachowania dowodów pośrednich, takich jak rozpoznane słowa i ich pozycje.
Systemy multimodalne poszerzają czytanie dokumentów i stawiają nowe wyzwania
Niedawne systemy multimodalne łączą przetwarzanie obrazu i generowanie języka, umożliwiając tekstowi z dokumentów uczestnictwo w szerszych interakcjach. W zależności od systemu i zadania, użytkownik może zażądać transkrypcji, zadać pytanie dotyczące strony lub wyodrębnić określone pola. Rozpoznawanie coraz częściej staje się częścią większego przepływu pracy z dokumentami, podczas gdy dedykowane OCR pozostaje użyteczne, gdy głównym wymaganiem jest precyzyjna, możliwa do sprawdzenia transkrypcja.
Ocena rozszerzyła się odpowiednio. OCRBench, wprowadzony w 2023, uwzględniał rozpoznawanie wraz z pytaniami dotyczącymi dokumentów, ekstrakcją informacji i odręcznymi wyrażeniami matematycznymi. Jego następca, wydany pod koniec 2024 i zrewidowany w 2025, badał szerszy zestaw zadań związanych z tekstem wizualnym i rozumowaniem. Zgłoszone ograniczenia obejmowały drobne szczegóły, układ, złożone elementy i mniej znany tekst, co pokazuje, dlaczego pojedyncze twierdzenie o dokładności nie może uchwycić każdego wymagania dotyczącego czytania dokumentów.
Ta szersza zdolność sprawia również, że cel wyniku staje się ważniejszy. Pomocne wyjaśnienie może być parafrazą, podczas gdy wierna transkrypcja musi zachować to, co faktycznie mówi strona. Płynne sformułowania nie mogą potwierdzić, że nazwisko, kwota lub cytat zostały odczytane poprawnie. Systemy wymagają oceny dostosowanej do zadania, niezależnie od tego, czy oznacza to dokładność znaków, kolejność czytania, strukturę tabeli czy poprawność wyodrębnionego pola.
Na przestrzeni wieku kierunek postępu zmierzał w stronę mniej kontrolowanych danych wejściowych i bardziej użytecznych wyników: od przepisanych znaków do zwykłego druku, pisma odręcznego, fotografii i złożonych dokumentów. Nowe podejścia nadal dołączają do tych już ustalonych. Główne wyzwanie pozostaje rozpoznawalne: przekształcanie dowodów wizualnych w wiarygodne informacje przy jednoczesnym zachowaniu szczegółów, które mają znaczenie.