Ánh sáng, âm thanh và những cách tiếp cận đầu tiên đối với việc đọc bằng máy
Một số nguồn gốc của OCR nằm ở những nỗ lực giúp người khiếm thị có thể tiếp cận văn bản in. Vào năm 1914, E. E. Fournier d'Albe đã mô tả một loại máy đọc optophone, chuyển đổi các mẫu ánh sáng từ một trang giấy thành tín hiệu âm thanh. Người nghe học cách diễn giải các tín hiệu đó. Đó là một công cụ hỗ trợ đọc quang học, thay vì một cỗ máy tự động tạo ra bản ghi văn bản, nhưng nó đã chứng minh rằng các dấu ấn in có thể được cảm nhận và thể hiện dưới một hình thức khác.
Các nhà phát minh khác đã theo đuổi việc nhận dạng ký tự tự động. Bằng sáng chế máy đọc của Gustav Tauschek, được nộp vào năm 1928 và công bố vào năm 1930, đã minh họa việc so sánh quang điện với các mẫu ký tự. Ví dụ về việc đọc chữ số của nó sử dụng các lỗ cắt xoay để kiểm tra hình dạng được trình bày cho thiết bị. Những cách tiếp cận này đã kết hợp quang học, chuyển động cơ học và cảm biến điện lại với nhau rất lâu trước khi máy tính kỹ thuật số đa năng trở nên phổ biến.
Sự khác biệt giữa việc phát hiện một dấu vết và xác định một ký tự vẫn là trọng tâm của OCR. Việc chụp lại trang chỉ là bước khởi đầu: một thiết bị đọc hữu ích còn cần phải phân biệt được các hình dạng tương tự và thể hiện quyết định của nó dưới dạng mà thiết bị khác có thể sử dụng.
Các thiết bị đọc ký tự đi vào hoạt động kinh doanh
Trong những năm 1950, việc đọc tự động đã tiến gần hơn đến xử lý công việc hàng ngày. Bằng sáng chế thiết bị đọc của David Shepard được nộp vào năm 1951 và cấp vào năm 1953. Một cuộc khảo sát đương thời của Cục Tiêu chuẩn Quốc gia đã ghi nhận một cơ sở sản xuất tại Reader's Digest vào năm 1955. Các hệ thống như vậy đã giải quyết một nút thắt thực tế: thông tin đã in trên giấy nếu không thì phải được nhập lại bởi con người trước khi máy tính có thể xử lý.
Những thiết bị đọc này thường hoạt động trong các điều kiện hạn chế hơn nhiều so với các công cụ tài liệu chung ngày nay. Một bộ ký tự hạn chế, việc in ấn có thể dự đoán được và vị trí được kiểm soát làm cho vấn đề nhận dạng trở nên dễ quản lý hơn. Máy quét, phần cứng nhận dạng và cơ chế đầu ra được thiết kế như một hệ thống phối hợp, thường dành cho một loại tài liệu cụ thể.
Đây là một sự thay đổi đáng kể về mục đích và quy mô. Đọc quang học đang trở thành một phương thức nhập liệu cho máy tính doanh nghiệp. Sự thành công phụ thuộc vào việc xử lý nhất quán một khối lượng công việc xác định, thay vì chứng minh rằng một cỗ máy có thể nhận dạng một vài ký tự trong điều kiện phòng thí nghiệm.
Các phông chữ tiêu chuẩn hóa giúp văn bản in dễ nhận dạng hơn
Một cách để cải thiện nhận dạng là làm cho đầu vào dễ dự đoán hơn. Các kiểu chữ có thể đọc bằng máy như OCR-A và OCR-B sử dụng các hình dạng ký tự và yêu cầu in ấn cụ thể, giảm bớt sự biến đổi mà thiết bị đọc phải xử lý. OCR-B xuất hiện trong tiêu chuẩn ECMA-11 vào năm 1965, với các phiên bản sau này tinh chỉnh đặc điểm kỹ thuật. Tiêu chuẩn hóa giúp thiết bị và tài liệu in hoạt động cùng nhau nhất quán hơn.
Cách tiếp cận này đặt một phần nỗ lực kỹ thuật lên chính tài liệu. Một kiểu chữ được kiểm soát chặt chẽ có thể làm cho một chữ số dễ phân biệt với chữ số khác, trong khi kích thước và khoảng cách được chỉ định giúp giảm bớt sự không chắc chắn trong quá trình quét. Sự đánh đổi là tính linh hoạt: một thiết bị đọc được thiết kế dựa trên bản in có kiểm soát không thể tự động xử lý mọi tờ báo, cuốn sách hoặc ghi chú viết tay.
Nhận dạng ký tự quang học cũng cần được phân biệt với nhận dạng ký tự mực từ tính, hay MICR. Cả hai đều hỗ trợ tự động hóa tài liệu, nhưng MICR cảm nhận các ký tự có thể đọc bằng từ tính, trong khi OCR diễn giải hình ảnh nhìn thấy được của chúng. Hai công nghệ này phát triển song song với nhau; chúng không phải là những tên gọi khác nhau cho cùng một quá trình đọc.
Nhận dạng đa phông chữ giúp văn bản thông thường nằm trong tầm tay
Tham vọng tiếp theo là đọc tài liệu không được in đặc biệt cho máy. Nhận dạng đa phông chữ (omnifont) nhằm mục đích xử lý một loạt các kiểu chữ thông thường, giảm sự phụ thuộc vào một bảng chữ cái quy định duy nhất. Tên gọi này mô tả hướng tiến bộ đó; nó không có nghĩa là mọi phông chữ, bản quét hoặc bố cục trang đều có thể được đọc mà không có lỗi.
Một cột mốc quan trọng là máy đọc được giới thiệu bởi Ray Kurzweil và nhóm của ông vào ngày 13 tháng 1976. Trong lịch sử truyền miệng của mình cho Quỹ Người mù Hoa Kỳ, Kurzweil mô tả sự kết hợp giữa quét, nhận dạng ký tự và giọng nói tổng hợp. Cùng nhau, các thành phần đó cho phép tài liệu in trở thành đầu ra bằng lời nói, kết nối việc nhận dạng với trải nghiệm đọc hoàn chỉnh.
Những tiến bộ cơ bản tương tự cũng hỗ trợ nhập dữ liệu thương mại. Giá trị của OCR ngày càng phụ thuộc vào việc xử lý các tài liệu hiện có, không chỉ các tài liệu được thiết kế dựa trên những hạn chế của thiết bị đọc. Đồng thời, các hệ thống này cho thấy lý do tại sao việc nhận dạng từng chữ cái là không đủ: các từ cần được lắp ráp theo thứ tự hữu ích trước khi chúng có thể được đọc to hoặc tái sử dụng.
Quét và OCR trở thành một phần của quy trình làm việc trên máy tính để bàn
Khi máy tính cá nhân và máy quét để bàn phát triển, OCR đã vượt ra ngoài các thiết bị đọc chuyên dụng. Một đánh giá của Cơ quan Bảo vệ Môi trường Hoa Kỳ năm 1990 về máy quét để bàn đã coi nhận dạng văn bản là một khả năng văn phòng thiết thực, so sánh thiết bị và phần mềm để chuyển đổi giấy thành các tệp máy tính có thể sử dụng. Quét một trang và chuyển văn bản của nó vào trình xử lý văn bản đã trở thành một quy trình làm việc ngày càng dễ tiếp cận.
Phần mềm phải làm nhiều việc hơn là phân loại các ký tự riêng lẻ. Nó cần tách văn bản khỏi hình ảnh, xác định các dòng và cột, bù đắp cho các bản quét bị nghiêng và quyết định cách thể hiện trang trong một tài liệu có thể chỉnh sửa. Làm sạch hình ảnh, phân tích bố cục, từ điển và kiểm tra ngữ cảnh đã trở thành những phần quan trọng của quá trình nhận dạng tổng thể. Một trang có thể chứa hầu hết các chữ cái chính xác nhưng vẫn cần sửa chữa đáng kể nếu các cột của nó bị trộn lẫn với nhau.
Sự ra đời của PDF vào năm 1993 đã bổ sung một cách thức di động để trao đổi các tài liệu dựa trên trang. PDF là một định dạng tài liệu, không phải là một phương pháp nhận dạng, nhưng nó cung cấp một nơi lưu trữ hữu ích cho các trang được quét và văn bản liên quan. Việc bảo tồn hình thức của một trang và làm cho nội dung của nó có thể tìm kiếm được giờ đây có thể là những mục tiêu bổ sung cho nhau.
Nghiên cứu chữ viết tay và mạng thần kinh thay đổi khả năng nhận dạng
Song song với việc áp dụng máy tính để bàn, các nhà nghiên cứu đã cải thiện khả năng nhận dạng các loại chữ viết ít dự đoán được hơn. Chương trình OCR của NIST từ năm 1989 đến 1998 bao gồm các biểu mẫu và đơn từ viết tay liên quan đến Cục Thống kê Dân số Hoa Kỳ và IRS. Các tập dữ liệu công khai và hệ thống tham chiếu đã giúp có thể so sánh các phương pháp dựa trên các ví dụ chung, thay vì chỉ dựa vào các bản trình diễn với các trang được chọn lọc kỹ lưỡng.
Nhận dạng bằng mạng thần kinh đã là một phần quan trọng trong công việc này. Bài báo 1998 về Học tập dựa trên Gradient áp dụng cho Nhận dạng Tài liệu đã mô tả các mạng tích chập học các đặc trưng hình ảnh hữu ích từ các ví dụ, cùng với các phương pháp kết hợp nhận dạng, phân đoạn và các ràng buộc ngôn ngữ. Điều này mở rộng lịch sử rộng lớn hơn của nhận dạng mẫu thống kê; các OCR trước đó cũng bao gồm các phương pháp vượt ra ngoài việc khớp mẫu đơn giản.
Học từ các ví dụ cung cấp một cách để thích ứng với các biến thể trong nét chữ và hình dạng ký tự. Nó cũng làm cho dữ liệu đào tạo và đánh giá trở nên quan trọng hơn. Một hệ thống có thể hoạt động tốt trên các chữ số viết tay riêng lẻ nhưng lại gặp khó khăn với chữ viết tay liền nét hoặc các biểu mẫu không quen thuộc. Tiến bộ trong một tác vụ nhận dạng là có giá trị mà không cần phải tự động giải quyết mọi loại tài liệu khác.
Các bộ sưu tập kỹ thuật số lớn biến OCR thành một công cụ khám phá
Các dự án số hóa đã mở rộng vai trò của OCR từ việc tái sử dụng một trang sang khám phá thông tin trên toàn bộ các bộ sưu tập. Các thư viện và kho lưu trữ có thể bảo tồn hình ảnh của báo chí, sách và hồ sơ trong khi lập chỉ mục văn bản đã được nhận dạng của chúng. Thư viện Quốc hội đã ra mắt Chronicling America vào tháng 2007, cung cấp cho các nhà nghiên cứu một tài nguyên có thể tìm kiếm được cho các tờ báo lịch sử.
Điều này đã thay đổi cách mọi người tiếp cận một kho lưu trữ. Một cái tên, địa điểm hoặc cụm từ có thể dẫn trực tiếp đến một trang liên quan mà không yêu cầu người đọc phải kiểm tra từng số báo. OCR đã trở thành một phần của hệ thống lớn hơn bao gồm quét, siêu dữ liệu, lập chỉ mục và truy xuất. Sự hữu ích của nó không còn chỉ được đo bằng việc một tài liệu xuất ra giống với nguồn của nó đến mức nào.
Tài liệu lịch sử cũng bộc lộ những điểm yếu cố hữu: giấy bị hư hỏng, phông chữ cũ, khoảng cách không đều và các cột phức tạp. Các lỗi nhận dạng có thể che giấu một kết quả tìm kiếm liên quan hoặc tạo ra một kết quả khớp gây hiểu lầm. Việc giữ trang gốc bên cạnh văn bản do máy tạo ra cho phép người đọc xác minh các khám phá, và làm cho việc nhận dạng được cải thiện trở thành một cách để làm phong phú thêm một bộ sưu tập kỹ thuật số hiện có mà không cần phải quét lại từng mục.
Đọc toàn bộ chuỗi mà không cần tách từng ký tự
Một khó khăn lâu nay trong nhận dạng chữ viết tay là quyết định xem một ký tự kết thúc ở đâu và ký tự tiếp theo bắt đầu ở đâu. Các nét chữ liền nhau và các chữ cái chồng chéo làm cho quy trình cắt-rồi-phân loại nghiêm ngặt trở nên mong manh. Các phương pháp chuỗi thống kê, bao gồm các mô hình Markov ẩn, đã giải quyết vấn đề này. Các mạng thần kinh tái phát cung cấp một cách khác để sử dụng thông tin lân cận trong khi diễn giải một dòng. Các mạng bộ nhớ dài-ngắn (LSTM), một loại mạng tái phát, đã giúp duy trì ngữ cảnh trên một chuỗi thay vì đánh giá từng vùng nhỏ một cách độc lập.
Phân loại thời gian kết nối (Connectionist Temporal Classification), được giới thiệu vào năm 2006, đã cung cấp một phương pháp đào tạo để khớp các chuỗi đầu vào với các nhãn văn bản mà không yêu cầu vị trí của từng ký tự phải được đánh dấu trước. Bài báo gốc đã đánh giá về giọng nói, trong khi các công trình sau đó đã áp dụng phương pháp này cho chữ viết tay. Một bài báo năm 2009 đã kết hợp đào tạo chuỗi với các mạng tái phát sử dụng ngữ cảnh từ cả hai hướng để nhận dạng các dòng viết tay không bị ràng buộc.
Điều này làm giảm sự phụ thuộc vào việc phân đoạn từng ký tự một cách hoàn hảo và giúp việc nhận dạng ở cấp độ dòng trở nên thiết thực hơn. Nó không loại bỏ mọi bước chuẩn bị: một hệ thống vẫn có thể cần xác định vị trí văn bản, xác định các dòng và xử lý hướng trang. Thay đổi quan trọng là việc nhận dạng có thể học được sự căn chỉnh giữa một chuỗi hình ảnh và bản ghi của nó thay vì nhận được ranh giới của từng ký tự trước đó.
Học sâu đưa OCR vượt ra ngoài máy quét phẳng
Văn bản được chụp ảnh lại mở rộng vấn đề một lần nữa. Một biên lai trên bàn, một biển hiệu cửa hàng hoặc một trang được chụp ở một góc có thể chứa bóng đổ, biến dạng phối cảnh và nền gây xao nhãng. Trước khi nhận dạng các từ, một hệ thống phải tìm thấy chúng. Do đó, phát hiện văn bản và nhận dạng văn bản đã trở thành các tác vụ nghiên cứu liên quan chặt chẽ, với tính ứng dụng thực tế cho việc đọc và dịch dựa trên camera.
Học sâu đã cải thiện cả hai giai đoạn. Một bài báo về văn bản trong cảnh 2015 đã kết hợp các đặc trưng hình ảnh tích chập, xử lý chuỗi tái phát và phiên mã trong một hệ thống nhận dạng có thể đào tạo. Thay vì coi việc trích xuất đặc trưng và đọc là các thành phần thủ công hoàn toàn riêng biệt, các nhà nghiên cứu có thể tối ưu hóa chúng cùng nhau. Phương pháp này cũng xử lý các từ có độ dài khác nhau mà không cần phải tách riêng từng chữ cái trước.
Các tiêu chuẩn đánh giá ngày càng phản ánh các điều kiện chụp không kiểm soát. Cuộc thi Đọc mạnh mẽ ICDAR 2015 đã thêm văn bản trong cảnh ngẫu nhiên, mở rộng đánh giá ra ngoài các hình ảnh được đóng khung có chủ đích xung quanh các từ dễ đọc. Điều này khuyến khích các hệ thống có thể đối phó với văn bản mà mọi người gặp phải trong các bức ảnh hàng ngày. Nó cũng làm rõ rằng hiệu suất trên các tài liệu quét sạch không mô tả đầy đủ khả năng của một trình đọc trong thế giới hình ảnh rộng lớn hơn.
Dữ liệu đào tạo tổng hợp và các tiêu chuẩn đa ngôn ngữ mở rộng phạm vi bao phủ
Các phương pháp học tập tốt hơn cũng đòi hỏi nhiều ví dụ đa dạng hơn. Hình ảnh đào tạo tổng hợp cho phép các nhà nghiên cứu tạo ra văn bản với các phông chữ, kích thước, màu sắc và nền khác nhau mà không cần phải dán nhãn thủ công cho từng bức ảnh mới. Nghiên cứu của Oxford được công bố vào năm 2016 đã đặt văn bản nhân tạo vào các cảnh thực trong khi tính đến hình học của chúng, cung cấp một lượng lớn tài liệu đào tạo cho việc phát hiện văn bản. Các ví dụ được tạo ra bổ sung cho các hình ảnh thực bằng cách làm cho các biến thể cụ thể dễ dàng tạo ra ở quy mô lớn.
Đánh giá đa ngôn ngữ được mở rộng song song. Thử thách đa ngôn ngữ ICDAR 2017 bao gồm chín ngôn ngữ đại diện cho sáu hệ thống chữ viết; phiên bản kế nhiệm năm 2019 của nó đã thêm một ngôn ngữ và một tác vụ nhận dạng từ đầu đến cuối. Các tiêu chuẩn này đã đưa các hệ thống chữ viết hỗn hợp, các hướng khác nhau và một loạt các hệ thống viết rộng hơn vào một môi trường đánh giá chung.
Bài học rộng hơn là hỗ trợ ngôn ngữ bao gồm nhiều thứ hơn là chỉ thêm các ký tự vào một bảng chữ cái. Các hệ thống cần các ví dụ đào tạo phù hợp và các phương pháp có thể đối phó với các cấu trúc ký tự, chữ viết liền nét và các hướng đọc khác nhau. Các tập dữ liệu chung giúp việc đo lường những khác biệt như vậy trở nên dễ dàng hơn, đồng thời cũng làm lộ ra những khoảng cách giữa hiệu suất trên các ngôn ngữ được đại diện tốt và trên các tài liệu ít quen thuộc hơn.
Học tập chú ý và nhận thức bố cục kết nối các từ với cấu trúc trang
Kiến trúc transformer, được giới thiệu vào năm 2017 cho các tác vụ ngôn ngữ, đã cung cấp một cách mạnh mẽ để mô hình hóa các mối quan hệ trên một chuỗi thông qua sự chú ý. Tầm quan trọng của nó đối với OCR đã phát triển thông qua các ứng dụng sau này cho nhận dạng văn bản và phân tích tài liệu. Sự chú ý cho phép một hệ thống cân nhắc các phần liên quan của đầu vào trong khi tạo ra kết quả, bổ sung một phương pháp khác bên cạnh các mạng tích chập và tái phát.
Nghiên cứu tài liệu cũng hướng tới việc vượt ra ngoài một bản chép lại đơn thuần. Một nghiên cứu được đệ trình vào tháng 2019 và xuất bản vào 2020 đã kết hợp văn bản được nhận dạng với vị trí trên trang trong quá trình tiền huấn luyện, sau đó kết hợp các đặc điểm hình ảnh khi điều chỉnh hệ thống cho các tác vụ tài liệu cụ thể. Vị trí rất quan trọng vì cùng một từ có thể đóng các vai trò khác nhau trong tiêu đề, khối địa chỉ hoặc một hàng của biểu mẫu.
Điều này giúp kết nối việc nhận dạng với các tác vụ như phân loại tài liệu và trích xuất thông tin. Đọc một con số và xác định đó là tổng hóa đơn là các thao tác có liên quan nhưng khác biệt; cấu trúc trang cung cấp manh mối cho thao tác thứ hai. Các phương pháp nhận biết bố cục không làm cho OCR trở nên không cần thiết. Chúng cung cấp các cách để sử dụng kết quả đầu ra của nó cùng với bằng chứng hình ảnh xung quanh, đưa việc xử lý tài liệu tiến tới các mối quan hệ giữa các phần tử thay vì chỉ là một luồng từ ngữ đơn lẻ.
Transformers đọc văn bản và tạo kết quả tài liệu trực tiếp
Đến 2021, các nhà nghiên cứu đã áp dụng trực tiếp các transformer hình ảnh và văn bản đã được tiền huấn luyện vào việc nhận dạng. Một phương pháp được công bố đã ghép nối bộ mã hóa hình ảnh với bộ giải mã văn bản và đánh giá văn bản in, viết tay và văn bản trong cảnh. Việc tiền huấn luyện trên các bộ sưu tập lớn, sau đó là huấn luyện cho một tác vụ cụ thể hơn, đã cung cấp một con đường khác để học các mẫu hình ảnh và tạo ra các chuỗi ký tự hoặc từ ngữ mạch lạc.
Một hướng nghiên cứu riêng biệt đã khám phá việc tạo ra các kết quả tài liệu có cấu trúc từ hình ảnh mà không cần chạy trước một công cụ OCR thông thường độc lập. Nghiên cứu được giới thiệu vào cuối 2021 và sửa đổi vào 2022 đã chứng minh phương pháp này cho việc hiểu tài liệu. Thuật ngữ OCR-free trong công trình đó mô tả sự vắng mặt của một giai đoạn OCR riêng biệt; hệ thống vẫn phải trích xuất thông tin văn bản liên quan từ hình ảnh.
Những phát triển này đã mở rộng các kiến trúc hiện có. Một hệ thống xử lý có thể nhận dạng văn bản và sau đó phân tích nó, hoặc huấn luyện một mô hình để tạo ra kết quả yêu cầu trực tiếp. Không có cách sắp xếp nào đảm bảo kết quả đầu ra chính xác trên mọi trang. Sự lựa chọn này thay đổi nơi lỗi có thể xảy ra, cách kiểm tra kết quả và mức độ dễ dàng để lưu giữ bằng chứng trung gian, chẳng hạn như các từ đã nhận dạng và vị trí của chúng.
Các hệ thống đa phương thức mở rộng khả năng đọc tài liệu và đặt ra các bài kiểm tra mới
Các hệ thống đa phương thức gần đây kết hợp xử lý hình ảnh và tạo ngôn ngữ, cho phép văn bản tài liệu tham gia vào các tương tác rộng hơn. Tùy thuộc vào hệ thống và tác vụ, người dùng có thể yêu cầu chép lại, đặt câu hỏi về một trang hoặc trích xuất các trường cụ thể. Việc nhận dạng ngày càng nằm trong một quy trình tài liệu lớn hơn, trong khi OCR chuyên dụng vẫn hữu ích khi yêu cầu chính là một bản chép lại chính xác, có thể kiểm tra được.
Việc đánh giá đã mở rộng tương ứng. OCRBench, được giới thiệu vào 2023, đã xem xét việc nhận dạng cùng với các câu hỏi về tài liệu, trích xuất thông tin và các biểu thức toán học viết tay. Người kế nhiệm của nó, được phát hành vào cuối 2024 và sửa đổi vào 2025, đã kiểm tra một tập hợp rộng hơn các tác vụ văn bản hình ảnh và suy luận. Các hạn chế được báo cáo bao gồm chi tiết nhỏ, bố cục, các phần tử phức tạp và văn bản ít quen thuộc hơn, cho thấy lý do tại sao một tuyên bố về độ chính xác duy nhất không thể nắm bắt mọi yêu cầu đọc tài liệu.
Khả năng rộng hơn này cũng làm cho mục đích của kết quả đầu ra trở nên quan trọng hơn. Một lời giải thích hữu ích có thể diễn giải lại, trong khi một bản chép lại trung thực phải bảo tồn những gì trang đó thực sự nói. Cách diễn đạt trôi chảy không thể xác nhận rằng một cái tên, số tiền hoặc trích dẫn đã được đọc chính xác. Các hệ thống cần sự đánh giá phù hợp với tác vụ, cho dù đó là độ chính xác của ký tự, thứ tự đọc, cấu trúc bảng hay tính chính xác của một trường được trích xuất.
Trong suốt thế kỷ qua, hướng tiến bộ đã hướng tới đầu vào ít được kiểm soát hơn và đầu ra hữu ích hơn: từ các ký tự quy định đến bản in thông thường, chữ viết tay, ảnh chụp và các tài liệu phức tạp. Các phương pháp mới tiếp tục tham gia cùng các phương pháp đã được thiết lập. Thách thức trung tâm vẫn dễ nhận biết: biến bằng chứng hình ảnh thành thông tin đáng tin cậy trong khi vẫn bảo tồn các chi tiết quan trọng.