빛, 소리, 그리고 기계 읽기에 대한 초기 접근 방식
OCR의 뿌리 중 일부는 시각 장애인을 위해 인쇄물을 접근 가능하게 만들려는 시도에 있습니다. 1914년에 E. E. Fournier d'Albe는 페이지의 빛 패턴을 가청 신호로 변환하는 타입 읽기 옵토폰(optophone)을 설명했습니다. 청취자는 이러한 신호를 해석하는 법을 배웠습니다. 이는 자동으로 텍스트 필사본을 생성하는 기계라기보다는 광학 읽기 보조 장치였지만, 인쇄된 표시를 감지하고 다른 형태로 표현할 수 있음을 입증했습니다.
다른 발명가들은 자동 문자 식별을 추구했습니다. 1928년에 출원되어 1930년에 발표된 Gustav Tauschek의 읽기 기계 특허는 문자 템플릿과의 광전 비교를 보여줍니다. 숫자 읽기 예제에서는 장치에 제시된 모양을 테스트하기 위해 회전하는 컷아웃을 사용했습니다. 이러한 접근 방식은 범용 디지털 컴퓨터가 보편화되기 훨씬 전에 광학, 기계적 움직임 및 전기적 감지를 하나로 모았습니다.
표시를 감지하는 것과 문자를 식별하는 것 사이의 구분은 OCR의 핵심으로 남았습니다. 페이지를 캡처하는 것은 시작일 뿐이었으며, 유용한 판독기는 유사한 모양을 구별하고 다른 장치가 사용할 수 있는 형태로 결정을 표현해야 했습니다.
비즈니스 운영에 도입된 문자 판독기
1950년대 동안 자동 읽기는 일상적인 비즈니스 처리 과정에 더 가까워졌습니다. David Shepard의 읽기 장치 특허는 1951년에 출원되어 1953년에 발행되었습니다. 당시 국립표준국(National Bureau of Standards) 조사에 따르면 1955년 Reader's Digest에 생산 설비가 기록되었습니다. 이러한 시스템은 종이에 이미 인쇄된 정보를 컴퓨터가 처리하기 전에 사람이 다시 입력해야 하는 실질적인 병목 현상을 해결했습니다.
이러한 판독기는 대개 오늘날의 일반 문서 도구보다 훨씬 좁은 조건에서 작동했습니다. 제한된 문자 집합, 예측 가능한 인쇄 및 통제된 배치는 인식 문제를 더 관리하기 쉽게 만들었습니다. 스캐너, 인식 하드웨어 및 출력 메커니즘은 특정 종류의 문서를 위해 조정된 시스템으로 설계되었습니다.
이는 목적과 규모 면에서 중요한 변화였습니다. 광학 읽기는 비즈니스 컴퓨팅을 위한 입력 방법이 되어가고 있었습니다. 성공 여부는 실험실 조건에서 기계가 몇 개의 문자를 인식할 수 있음을 증명하는 것이 아니라, 정의된 작업량을 일관되게 처리하는 데 달려 있었습니다.
표준화된 글꼴로 인쇄된 텍스트 인식 용이성 향상
인식을 개선하는 한 가지 방법은 입력을 더 예측 가능하게 만드는 것이었습니다. OCR-A 및 OCR-B와 같은 기계 판독 가능 서체는 지정된 문자 모양과 인쇄 요구 사항을 사용하여 판독기가 처리해야 하는 변형을 줄였습니다. OCR-B는 1965년 ECMA-11 표준에 등장했으며, 이후 판에서 사양이 개선되었습니다. 표준화는 장비와 인쇄 문서가 더 일관되게 작동하도록 도왔습니다.
이 접근 방식은 엔지니어링 노력의 일부를 문서 자체에 두었습니다. 엄격하게 통제된 서체는 숫자를 다른 숫자와 구별하기 쉽게 만들었고, 지정된 치수와 간격은 스캔 중 불확실성을 줄였습니다. 단점은 유연성이었습니다. 통제된 인쇄물을 중심으로 설계된 판독기는 모든 신문, 책 또는 손글씨 메모를 자동으로 처리할 수 없었습니다.
광학 문자 인식은 자기 잉크 문자 인식(MICR)과도 구분되어야 합니다. 둘 다 문서 자동화를 지원하지만, MICR은 자기적으로 읽을 수 있는 문자를 감지하는 반면 OCR은 가시적인 이미지를 해석합니다. 두 기술은 나란히 발전했으며, 동일한 읽기 프로세스를 지칭하는 다른 이름이 아닙니다.
일반 인쇄물을 인식 범위에 포함하는 옴니폰트(Omnifont) 인식
다음 목표는 기계를 위해 특별히 인쇄되지 않은 자료를 읽는 것이었습니다. 옴니폰트 인식은 다양한 일반 서체를 처리하여 단일 지정 알파벳에 대한 의존도를 줄이는 것을 목표로 했습니다. 이 이름은 발전 방향을 설명하는 것이지, 모든 글꼴, 스캔 또는 페이지 레이아웃을 오류 없이 읽을 수 있다는 의미는 아니었습니다.
주요 이정표는 13년 1976월 Ray Kurzweil과 그의 팀이 도입한 읽기 기계였습니다. 미국 시각장애인 재단(American Foundation for the Blind)을 위한 구술 역사에서 Kurzweil은 스캔, 문자 인식 및 합성 음성의 결합을 설명합니다. 이러한 구성 요소들은 인쇄된 자료가 음성 출력으로 변환되도록 하여 인식과 완전한 읽기 경험을 연결했습니다.
동일한 근본적인 발전은 상업적 데이터 입력도 지원했습니다. OCR의 가치는 판독기의 한계에 맞춰 설계된 문서뿐만 아니라 기존 문서를 처리하는 능력에 점점 더 의존하게 되었습니다. 동시에 이러한 시스템은 개별 문자를 인식하는 것만으로는 충분하지 않다는 것을 보여주었습니다. 단어는 소리 내어 읽거나 재사용되기 전에 유용한 순서로 조립되어야 했습니다.
데스크톱 워크플로의 일부가 된 스캔 및 OCR
개인용 컴퓨터와 데스크톱 스캐너가 발전함에 따라 OCR은 전용 읽기 설비를 넘어섰습니다. 1990년 미국 환경보호청(EPA)의 데스크톱 스캐너 평가는 이미 텍스트 인식을 실용적인 사무 기능으로 다루었으며, 종이를 사용 가능한 컴퓨터 파일로 변환하기 위한 장비와 소프트웨어를 비교했습니다. 페이지를 스캔하고 텍스트를 워드 프로세서로 전송하는 것은 점점 더 접근하기 쉬운 워크플로가 되었습니다.
소프트웨어는 단순히 분리된 문자를 분류하는 것 이상의 작업을 수행해야 했습니다. 텍스트와 그림을 분리하고, 줄과 열을 식별하고, 기울어진 스캔을 보정하고, 편집 가능한 문서에서 페이지를 어떻게 표현할지 결정해야 했습니다. 이미지 정리, 레이아웃 분석, 사전 및 문맥 검사는 전체 인식 과정에서 중요한 부분이 되었습니다. 페이지에 대부분 올바른 문자가 포함되어 있더라도 열이 섞여 있으면 상당한 수정이 필요할 수 있었습니다.
PDF가 1993에 도입되면서 페이지 기반 문서를 교환하는 휴대 가능한 방법이 추가되었습니다. PDF는 인식 방식이 아닌 문서 형식이었지만, 스캔한 페이지와 관련 텍스트를 담는 유용한 공간을 제공했습니다. 이제 페이지의 외관을 보존하면서 내용을 검색 가능하게 만드는 것이 상호 보완적인 목표가 되었습니다.
필기체 연구와 신경망이 바꾼 인식 기술
데스크톱 보급과 함께 연구자들은 예측하기 어려운 필기체에 대한 인식 성능을 개선하고 있었습니다. 1989년부터 1998년까지 진행된 NIST의 OCR 프로그램에는 미국 인구조사국 및 국세청(IRS)과 관련된 수기 양식과 신청서가 포함되었습니다. 공개 데이터셋과 참조 시스템 덕분에 단순히 신중하게 선택된 페이지를 이용한 시연에 의존하는 대신, 공유된 예제를 바탕으로 여러 방법을 비교할 수 있게 되었습니다.
신경망 인식은 이미 이 작업의 중요한 부분이었습니다. 1998 논문 '문서 인식을 위한 기울기 기반 학습(Gradient-Based Learning Applied to Document Recognition)'은 예제로부터 유용한 시각적 특징을 학습하는 합성곱 신경망과 인식, 세분화 및 언어 제약을 결합하는 방법을 설명했습니다. 이는 통계적 패턴 인식의 더 넓은 역사를 확장한 것이며, 초기 OCR에도 단순한 템플릿 매칭 이상의 방법이 포함되어 있었습니다.
예제를 통한 학습은 획과 글자 모양의 변화를 수용할 수 있는 방법을 제시했습니다. 또한 학습 데이터와 평가의 중요성도 커졌습니다. 시스템이 고립된 필기체 숫자는 잘 인식하더라도 연결된 필기체나 익숙하지 않은 양식에서는 어려움을 겪을 수 있었습니다. 한 가지 인식 작업에서의 진전은 다른 모든 종류의 문서를 자동으로 해결하지 않더라도 그 자체로 가치가 있었습니다.
대규모 디지털 컬렉션, OCR를 발견 도구로 바꾸다
디지털화 프로젝트는 OCR의 역할을 페이지 재사용에서 전체 컬렉션에 걸친 정보 발견으로 확장했습니다. 도서관과 기록 보관소는 신문, 도서, 기록물의 이미지를 보존하면서 인식된 텍스트를 색인화할 수 있게 되었습니다. 미국 의회 도서관은 2007년 3월 'Chronicling America'를 시작하여 연구자들에게 역사적 신문을 검색할 수 있는 자원을 제공했습니다.
이는 사람들이 기록 보관소에 접근하는 방식을 바꾸었습니다. 이름, 장소 또는 문구를 검색하면 독자가 모든 호를 일일이 확인할 필요 없이 관련 페이지로 바로 이동할 수 있게 되었습니다. OCR는 스캔, 메타데이터, 색인화 및 검색으로 구성된 더 큰 시스템의 일부가 되었습니다. 그 유용성은 이제 내보낸 문서가 원본과 얼마나 유사한지만으로 측정되지 않았습니다.
역사적 자료는 손상된 종이, 오래된 서체, 불규칙한 간격, 복잡한 단 구성과 같은 고질적인 약점도 드러냈습니다. 인식 오류는 관련 검색 결과를 숨기거나 잘못된 일치 항목을 생성할 수 있었습니다. 기계가 생성한 텍스트와 함께 원본 페이지를 유지함으로써 독자는 발견한 내용을 검증할 수 있었고, 모든 항목을 다시 스캔하지 않고도 기존 디지털 컬렉션을 풍부하게 만드는 인식 개선 방법을 마련할 수 있었습니다.
모든 글자를 분리하지 않고 전체 시퀀스 읽기
필기체 인식에서 오랫동안 어려움을 겪었던 문제는 한 글자가 어디서 끝나고 다음 글자가 시작되는지를 결정하는 것이었습니다. 연결된 획과 겹치는 글자는 엄격한 '자르기 후 분류' 과정을 취약하게 만들었습니다. 은닉 마르코프 모델(HMM)을 포함한 통계적 시퀀스 방법은 이미 이 문제를 다루고 있었습니다. 순환 신경망(RNN)은 라인을 해석하는 동안 주변 정보를 활용하는 또 다른 방법을 제시했습니다. 순환 신경망의 일종인 장단기 메모리(LSTM) 네트워크는 모든 작은 영역을 독립적으로 판단하는 대신 시퀀스 전체에 걸쳐 문맥을 유지하는 데 도움을 주었습니다.
2006년에 도입된 연결주의 시간 분류(CTC)는 모든 글자의 위치를 미리 표시할 필요 없이 입력 시퀀스를 텍스트 레이블과 일치시키는 학습 방법을 제공했습니다. 원본 논문은 음성을 평가했지만, 이후 연구에서는 이 접근 방식을 필기체에 적용했습니다. 2009년 논문은 시퀀스 학습과 양방향 문맥을 사용하는 순환 신경망을 결합하여 제약 없는 필기체 라인을 인식했습니다.
이는 완벽한 글자 단위 세분화에 대한 의존도를 줄이고 라인 단위 인식을 더욱 실용적으로 만드는 데 기여했습니다. 그렇다고 모든 준비 단계가 사라진 것은 아니었습니다. 시스템은 여전히 텍스트 위치를 찾고, 라인을 식별하며, 페이지 방향을 처리해야 할 수 있었습니다. 중요한 변화는 인식이 모든 글자 경계를 미리 받는 대신 이미지 시퀀스와 그 전사본 사이의 정렬을 학습할 수 있게 되었다는 점입니다.
딥러닝, OCR를 평판 스캐너 너머로 확장하다
사진으로 찍은 텍스트는 문제를 다시 확대했습니다. 책상 위의 영수증, 상점 간판 또는 비스듬히 찍힌 페이지에는 그림자, 원근 왜곡, 산만한 배경이 포함될 수 있었습니다. 단어를 인식하기 전에 시스템은 먼저 단어를 찾아야 했습니다. 따라서 텍스트 탐지와 텍스트 인식은 카메라 기반 읽기 및 번역에 실용적인 관련성을 가지며 밀접하게 연결된 연구 과제가 되었습니다.
딥러닝은 두 단계 모두를 개선했습니다. 2015년의 장면 텍스트 논문은 합성곱 이미지 특징, 순환 시퀀스 처리 및 전사를 하나의 학습 가능한 인식 시스템으로 결합했습니다. 연구자들은 특징 추출과 읽기를 완전히 분리된 수동 구성 요소로 취급하는 대신, 이를 함께 최적화할 수 있게 되었습니다. 이 접근 방식은 각 글자를 먼저 분리하지 않고도 다양한 길이의 단어를 처리했습니다.
벤치마크는 점점 더 통제되지 않은 캡처 조건을 반영하게 되었습니다. 2015년 ICDAR Robust Reading Competition은 부수적인 장면 텍스트를 추가하여 읽기 쉬운 단어 위주로 의도적으로 구성된 이미지 너머로 평가를 확장했습니다. 이는 사람들이 일상적인 사진에서 접하는 텍스트를 처리할 수 있는 시스템을 장려했습니다. 또한 깨끗한 스캔 문서에서의 성능이 더 넓은 시각적 세계에서 읽기 도구의 능력을 완전히 설명하지 못한다는 점을 분명히 했습니다.
합성 학습 데이터와 다국어 벤치마크로 범위 확대
더 나은 학습 방법에는 더 다양한 예제가 필요했습니다. 합성 학습 이미지를 통해 연구자들은 모든 새로운 사진에 수동으로 레이블을 지정하지 않고도 다양한 폰트, 크기, 색상 및 배경의 텍스트를 생성할 수 있게 되었습니다. 2016년에 발표된 옥스퍼드 연구는 기하학적 구조를 고려하면서 실제 장면에 인공 텍스트를 배치하여 텍스트 탐지를 위한 대량의 학습 자료를 제공했습니다. 생성된 예제는 특정 변형을 대규모로 쉽게 생성할 수 있게 함으로써 실제 이미지를 보완했습니다.
다국어 평가도 병행하여 확대되었습니다. 2017년 ICDAR 다국어 챌린지에는 6개의 스크립트를 대표하는 9개 언어가 포함되었으며, 2019년 후속 대회에서는 언어 하나와 종단간(end-to-end) 인식 작업이 추가되었습니다. 이러한 벤치마크는 혼합 스크립트, 다양한 방향 및 더 넓은 범위의 문자 체계를 공통 평가 환경으로 가져왔습니다.
더 넓은 교훈은 언어 지원이 알파벳에 문자를 추가하는 것보다 훨씬 더 많은 것을 포함한다는 점이었습니다. 시스템에는 적절한 학습 예제와 다양한 문자 구조, 연결된 필기체 및 읽기 방향을 처리할 수 있는 방법이 필요했습니다. 공유 데이터셋은 이러한 차이를 측정하기 쉽게 만들었으며, 잘 표현된 언어와 덜 익숙한 자료 간의 성능 격차를 드러내기도 했습니다.
어텐션과 레이아웃 인식 학습으로 단어와 페이지 구조 연결
2017년에 언어 작업을 위해 도입된 트랜스포머 아키텍처는 어텐션을 통해 시퀀스 전반의 관계를 모델링하는 강력한 방법을 제공했습니다. OCR에 대한 중요성은 이후 텍스트 인식 및 문서 분석에 적용되면서 발전했습니다. 어텐션을 통해 시스템은 결과를 생성하는 동안 입력의 관련 부분을 가중치로 처리할 수 있게 되었으며, 합성곱 및 순환 신경망과 함께 또 다른 접근 방식을 추가했습니다.
문서 연구는 단순한 전사(transcript) 그 이상을 바라보고 있었습니다. 2019년에 제출되어 2020년에 발표된 한 연구는 사전 학습 과정에서 인식된 텍스트와 해당 텍스트의 페이지 위치를 결합한 다음, 시스템을 특정 문서 작업에 맞게 조정할 때 시각적 특징을 통합했습니다. 동일한 단어라도 제목, 주소 블록, 또는 양식의 행에서 서로 다른 역할을 할 수 있기 때문에 위치 정보는 중요했습니다.
이는 문서 분류 및 정보 추출과 같은 작업과 인식 결과를 연결하는 데 도움이 되었습니다. 숫자를 읽고 이를 송장 총액으로 식별하는 것은 관련이 있지만 별개의 작업이며, 페이지 구조는 두 번째 작업을 위한 단서를 제공합니다. 레이아웃 인식 방식이 OCR를 불필요하게 만든 것은 아닙니다. 이러한 방식은 주변의 시각적 증거와 함께 출력 결과를 사용하는 방법을 제시하여, 문서 처리를 단일 단어 스트림이 아닌 요소 간의 관계로 발전시켰습니다.
트랜스포머가 텍스트를 읽고 문서 결과를 직접 생성
2021년경, 연구자들은 사전 학습된 이미지 및 텍스트 트랜스포머를 인식 작업에 직접 적용하고 있었습니다. 발표된 한 접근 방식은 이미지 인코더와 텍스트 디코더를 결합하여 인쇄물, 필기체, 장면 텍스트를 평가했습니다. 대규모 데이터셋에 대한 사전 학습 후 특정 작업에 맞춰 추가 학습을 진행하는 방식은 시각적 패턴을 학습하고 일관된 문자 또는 단어 시퀀스를 생성하는 또 다른 경로를 제공했습니다.
별도의 연구 흐름에서는 기존의 독립적인 OCR 엔진을 먼저 실행하지 않고도 이미지에서 구조화된 문서 결과를 생성하는 방법을 탐구했습니다. 2021년 말에 소개되고 2022년에 수정된 연구는 문서 이해를 위한 이러한 접근 방식을 입증했습니다. 해당 연구에서 사용된 OCR-free라는 용어는 별도의 OCR 단계가 없음을 의미하지만, 시스템은 여전히 이미지에서 관련 서면 정보를 도출해야 합니다.
이러한 발전은 사용 가능한 아키텍처를 확장했습니다. 처리 시스템은 텍스트를 인식한 후 분석하거나, 요청된 결과를 직접 생성하도록 모델을 학습시킬 수 있습니다. 어떤 방식도 모든 페이지에서 완벽한 출력을 보장하지는 않습니다. 선택에 따라 오류가 발생할 수 있는 지점, 결과 검토 방식, 그리고 인식된 단어 및 위치와 같은 중간 증거를 얼마나 쉽게 유지할 수 있는지가 달라집니다.
멀티모달 시스템이 문서 읽기 범위를 넓히고 새로운 테스트를 제시
최근의 멀티모달 시스템은 이미지 처리와 언어 생성을 결합하여 문서 텍스트가 더 폭넓은 상호작용에 참여할 수 있도록 합니다. 시스템과 작업에 따라 사용자는 전사를 요청하거나, 페이지에 대한 질문을 하거나, 특정 필드를 추출할 수 있습니다. 인식 기능은 점점 더 큰 문서 워크플로우의 일부가 되고 있으며, 정확하고 검토 가능한 전사가 주된 요구 사항일 때는 전용 OCR가 여전히 유용합니다.
평가 방식도 그에 맞춰 확장되었습니다. 2023년에 도입된 OCRBench는 인식 작업과 함께 문서 관련 질문, 정보 추출, 필기체 수학 식을 고려했습니다. 2024년 말에 출시되고 2025년에 수정된 후속 버전은 더 광범위한 시각적 텍스트 및 추론 작업을 검토했습니다. 보고된 한계점으로는 미세한 세부 사항, 레이아웃, 복잡한 요소, 덜 익숙한 텍스트 등이 있었으며, 이는 단일 정확도 수치만으로는 모든 문서 읽기 요구 사항을 충족할 수 없음을 보여줍니다.
이러한 광범위한 기능은 출력 결과의 목적을 더욱 중요하게 만듭니다. 유용한 설명은 의역을 할 수 있지만, 정확한 전사는 페이지에 적힌 내용을 그대로 보존해야 합니다. 유창한 문장이라고 해서 이름, 금액, 인용구가 올바르게 읽혔음을 보장하지는 않습니다. 시스템은 문자 정확도, 읽기 순서, 표 구조, 추출된 필드의 정확성 등 작업에 적합한 평가가 필요합니다.
지난 세기 동안 발전의 방향은 통제된 입력에서 벗어나 더 유용한 출력을 향해 나아갔습니다. 즉, 정해진 문자에서 일반 인쇄물, 필기체, 사진, 복잡한 문서로 확장되었습니다. 새로운 접근 방식은 기존 방식과 계속해서 결합되고 있습니다. 핵심 과제는 여전히 동일합니다. 중요한 세부 사항을 보존하면서 시각적 증거를 신뢰할 수 있는 정보로 바꾸는 것입니다.