แสง เสียง และแนวทางแรกเริ่มของการอ่านด้วยเครื่องจักร
รากฐานบางส่วนของ OCR มาจากความพยายามที่จะทำให้ผู้พิการทางสายตาสามารถเข้าถึงสิ่งพิมพ์ได้ ในปี 1914 E. E. Fournier d'Albe ได้อธิบายถึงออปโตโฟน (optophone) สำหรับอ่านตัวอักษร ซึ่งแปลงรูปแบบแสงจากหน้ากระดาษให้เป็นสัญญาณเสียง ผู้ฟังต้องเรียนรู้ที่จะตีความสัญญาณเหล่านั้น มันเป็นอุปกรณ์ช่วยอ่านแบบออปติคัลมากกว่าที่จะเป็นเครื่องจักรที่สร้างข้อความถอดความโดยอัตโนมัติ แต่มันแสดงให้เห็นว่าร่องรอยของตัวพิมพ์สามารถถูกตรวจจับและแสดงออกมาในรูปแบบอื่นได้
นักประดิษฐ์คนอื่นๆ ได้พยายามระบุตัวอักษรโดยอัตโนมัติ สิทธิบัตรเครื่องอ่านของ Gustav Tauschek ซึ่งยื่นในปี 1928 และเผยแพร่ในปี 1930 ได้แสดงให้เห็นถึงการเปรียบเทียบด้วยตาแมวกับแม่แบบตัวอักษร ตัวอย่างการอ่านตัวเลขของเครื่องนี้ใช้ช่องตัดแบบหมุนเพื่อทดสอบรูปร่างที่นำเสนอต่ออุปกรณ์ แนวทางเหล่านี้ได้นำเอาออปติก การเคลื่อนไหวทางกล และการตรวจจับทางไฟฟ้ามารวมกันนานก่อนที่คอมพิวเตอร์ดิจิทัลอเนกประสงค์จะกลายเป็นเรื่องปกติ
ความแตกต่างระหว่างการตรวจจับร่องรอยกับการระบุตัวอักษรยังคงเป็นหัวใจสำคัญของ OCR การจับภาพหน้ากระดาษเป็นเพียงจุดเริ่มต้นเท่านั้น เครื่องอ่านที่มีประโยชน์ยังจำเป็นต้องแยกแยะรูปร่างที่คล้ายคลึงกันและแสดงการตัดสินใจในรูปแบบที่อุปกรณ์อื่นสามารถนำไปใช้ต่อได้
เครื่องอ่านอักขระเข้าสู่การดำเนินงานทางธุรกิจ
ในช่วงทศวรรษ 1950s การอ่านอัตโนมัติได้ขยับเข้าใกล้การประมวลผลทางธุรกิจในชีวิตประจำวัน สิทธิบัตรอุปกรณ์อ่านของ David Shepard ได้ยื่นในปี 1951 และออกให้ในปี 1953 การสำรวจของสำนักงานมาตรฐานแห่งชาติในขณะนั้นได้บันทึกการติดตั้งใช้งานจริงที่ Reader's Digest ในปี 1955 ระบบเหล่านี้ช่วยแก้ปัญหาคอขวดในทางปฏิบัติ: ข้อมูลที่พิมพ์อยู่บนกระดาษแล้วจำเป็นต้องถูกป้อนข้อมูลใหม่โดยบุคคลก่อนที่คอมพิวเตอร์จะประมวลผลได้
เครื่องอ่านเหล่านี้มักทำงานภายใต้เงื่อนไขที่จำกัดกว่าเครื่องมือเอกสารทั่วไปในปัจจุบัน ชุดตัวอักษรที่จำกัด การพิมพ์ที่คาดเดาได้ และการจัดวางที่ควบคุมได้ ทำให้ปัญหาการจดจำจัดการได้ง่ายขึ้น เครื่องสแกน ฮาร์ดแวร์การจดจำ และกลไกเอาต์พุตได้รับการออกแบบมาเป็นระบบที่ประสานกัน มักใช้สำหรับเอกสารประเภทใดประเภทหนึ่งโดยเฉพาะ
นี่เป็นการเปลี่ยนแปลงที่สำคัญในด้านวัตถุประสงค์และขนาด การอ่านด้วยแสงกำลังกลายเป็นวิธีการป้อนข้อมูลสำหรับคอมพิวเตอร์ธุรกิจ ความสำเร็จขึ้นอยู่กับการประมวลผลปริมาณงานที่กำหนดไว้อย่างสม่ำเสมอ มากกว่าการสาธิตว่าเครื่องจักรสามารถจดจำตัวอักษรไม่กี่ตัวภายใต้สภาวะห้องปฏิบัติการ
ฟอนต์มาตรฐานทำให้ข้อความพิมพ์จดจำได้ง่ายขึ้น
วิธีหนึ่งในการปรับปรุงการจดจำคือการทำให้ข้อมูลนำเข้าคาดเดาได้มากขึ้น แบบอักษรที่เครื่องอ่านได้ เช่น OCR-A และ OCR-B ใช้รูปร่างตัวอักษรและข้อกำหนดการพิมพ์ที่ระบุไว้ ซึ่งช่วยลดความแปรปรวนที่เครื่องอ่านต้องจัดการ OCR-B ปรากฏในมาตรฐาน ECMA-11 ในปี 1965 โดยมีการแก้ไขข้อกำหนดในฉบับต่อๆ มา การสร้างมาตรฐานช่วยให้อุปกรณ์และเอกสารที่พิมพ์ออกมาทำงานร่วมกันได้อย่างสม่ำเสมอมากขึ้น
แนวทางนี้เปลี่ยนภาระทางวิศวกรรมบางส่วนไปไว้ที่ตัวเอกสารเอง แบบอักษรที่ควบคุมอย่างเข้มงวดสามารถทำให้ตัวเลขหนึ่งแยกแยะออกจากอีกตัวเลขหนึ่งได้ง่ายขึ้น ในขณะที่ขนาดและระยะห่างที่ระบุไว้ช่วยลดความไม่แน่นอนระหว่างการสแกน ข้อแลกเปลี่ยนคือความยืดหยุ่น: เครื่องอ่านที่ออกแบบมาสำหรับงานพิมพ์ที่ควบคุมได้จะไม่สามารถจัดการกับหนังสือพิมพ์ หนังสือ หรือบันทึกที่เขียนด้วยลายมือทุกฉบับได้โดยอัตโนมัติ
การจดจำอักขระด้วยแสงควรแยกออกจากเทคโนโลยีการจดจำอักขระด้วยหมึกแม่เหล็ก หรือ MICR ทั้งสองอย่างรองรับระบบอัตโนมัติของเอกสาร แต่ MICR จะตรวจจับอักขระที่อ่านได้ด้วยแม่เหล็ก ในขณะที่ OCR จะตีความจากภาพที่มองเห็น เทคโนโลยีทั้งสองพัฒนาควบคู่กันไป ไม่ใช่ชื่อเรียกที่แตกต่างกันสำหรับกระบวนการอ่านเดียวกัน
การจดจำแบบ Omnifont ทำให้งานพิมพ์ทั่วไปอยู่ในขอบเขตที่อ่านได้
ความทะเยอทะยานถัดมาคือการอ่านเนื้อหาที่ไม่ได้ถูกพิมพ์มาเพื่อเครื่องจักรโดยเฉพาะ การจดจำแบบ Omnifont มีเป้าหมายเพื่อจัดการกับแบบอักษรทั่วไปที่หลากหลาย ลดการพึ่งพาชุดตัวอักษรที่กำหนดไว้เพียงชุดเดียว ชื่อนี้อธิบายทิศทางของความก้าวหน้า ไม่ได้หมายความว่าทุกฟอนต์ ทุกการสแกน หรือทุกเค้าโครงหน้ากระดาษจะสามารถอ่านได้โดยไม่มีข้อผิดพลาด
เหตุการณ์สำคัญที่โดดเด่นคือเครื่องอ่านที่เปิดตัวโดย Ray Kurzweil และทีมงานของเขาเมื่อวันที่ 13 มกราคม 1976 ในประวัติศาสตร์บอกเล่าของเขาสำหรับมูลนิธิคนตาบอดแห่งอเมริกา Kurzweil อธิบายถึงการรวมกันของการสแกน การจดจำอักขระ และการสังเคราะห์เสียงพูด องค์ประกอบเหล่านั้นรวมกันทำให้เนื้อหาที่พิมพ์ออกมาสามารถกลายเป็นเอาต์พุตเสียงพูดได้ เชื่อมโยงการจดจำเข้ากับประสบการณ์การอ่านที่สมบูรณ์
ความก้าวหน้าพื้นฐานเดียวกันนี้ยังสนับสนุนการป้อนข้อมูลเชิงพาณิชย์ คุณค่าของ OCR ขึ้นอยู่กับการจัดการเอกสารที่มีอยู่จริงมากขึ้นเรื่อยๆ ไม่ใช่แค่เอกสารที่ออกแบบมาเพื่อรองรับข้อจำกัดของเครื่องอ่าน ในขณะเดียวกัน ระบบเหล่านี้แสดงให้เห็นว่าเหตุใดการจดจำตัวอักษรแต่ละตัวจึงไม่เพียงพอ: คำต่างๆ จำเป็นต้องถูกจัดเรียงในลำดับที่มีประโยชน์ก่อนที่จะสามารถอ่านออกเสียงหรือนำไปใช้ซ้ำได้
การสแกนและ OCR กลายเป็นส่วนหนึ่งของขั้นตอนการทำงานบนเดสก์ท็อป
เมื่อคอมพิวเตอร์ส่วนบุคคลและเครื่องสแกนเดสก์ท็อปพัฒนาขึ้น OCR ก็ก้าวข้ามการติดตั้งใช้งานเพื่อการอ่านโดยเฉพาะ การประเมินเครื่องสแกนเดสก์ท็อปของสำนักงานปกป้องสิ่งแวดล้อมสหรัฐฯ ในปี 1990 ได้ถือว่าการจดจำข้อความเป็นความสามารถในสำนักงานที่ใช้งานได้จริง โดยเปรียบเทียบอุปกรณ์และซอฟต์แวร์สำหรับการแปลงกระดาษเป็นไฟล์คอมพิวเตอร์ที่ใช้งานได้ การสแกนหน้ากระดาษและถ่ายโอนข้อความไปยังโปรแกรมประมวลผลคำกลายเป็นขั้นตอนการทำงานที่เข้าถึงได้ง่ายขึ้นเรื่อยๆ
ซอฟต์แวร์ต้องทำมากกว่าแค่จำแนกตัวอักษรที่แยกจากกัน มันจำเป็นต้องแยกข้อความออกจากรูปภาพ ระบุบรรทัดและคอลัมน์ ชดเชยการสแกนที่เอียง และตัดสินใจว่าจะแสดงหน้ากระดาษในเอกสารที่แก้ไขได้นั้นอย่างไร การทำความสะอาดรูปภาพ การวิเคราะห์เค้าโครง พจนานุกรม และการตรวจสอบบริบทกลายเป็นส่วนสำคัญของกระบวนการจดจำโดยรวม หน้ากระดาษอาจมีตัวอักษรที่ถูกต้องเกือบทั้งหมด แต่ยังคงต้องมีการแก้ไขอย่างมากหากคอลัมน์ถูกจัดเรียงปนกัน
การเปิดตัว PDF ใน 1993 ได้เพิ่มวิธีการแบบพกพาสำหรับการแลกเปลี่ยนเอกสารแบบหน้าต่อหน้า PDF เป็นรูปแบบเอกสาร ไม่ใช่วิธีการจดจำ แต่เป็นแหล่งจัดเก็บที่มีประโยชน์สำหรับหน้าที่สแกนและข้อความที่เกี่ยวข้อง การรักษาลักษณะของหน้าเอกสารและการทำให้เนื้อหาค้นหาได้กลายเป็นเป้าหมายที่ส่งเสริมซึ่งกันและกัน
การวิจัยลายมือและโครงข่ายประสาทเทียมเปลี่ยนการจดจำ
นอกเหนือจากการใช้งานบนเดสก์ท็อป นักวิจัยกำลังปรับปรุงการจดจำงานเขียนที่คาดเดาได้ยากขึ้น โครงการ OCR ของ NIST ตั้งแต่ปี 1989 ถึง 1998 ได้รวมแบบฟอร์มและใบสมัครที่เขียนด้วยลายมือซึ่งเกี่ยวข้องกับสำนักสำมะโนประชากรของสหรัฐฯ และ IRS ชุดข้อมูลสาธารณะและระบบอ้างอิงทำให้สามารถเปรียบเทียบวิธีการต่างๆ กับตัวอย่างที่ใช้ร่วมกันได้ แทนที่จะพึ่งพาเพียงการสาธิตด้วยหน้าที่คัดสรรมาอย่างดีเท่านั้น
การจดจำด้วยโครงข่ายประสาทเทียมเป็นส่วนสำคัญของงานนี้อยู่แล้ว เอกสาร 1998 เรื่อง Gradient-Based Learning Applied to Document Recognition ได้อธิบายถึงโครงข่ายแบบคอนโวลูชันที่เรียนรู้คุณลักษณะทางภาพที่เป็นประโยชน์จากตัวอย่าง พร้อมด้วยวิธีการรวมการจดจำ การแบ่งส่วน และข้อจำกัดทางภาษา สิ่งนี้ขยายประวัติศาสตร์ที่กว้างขึ้นของการจดจำรูปแบบทางสถิติ โดยที่ OCR ก่อนหน้านี้ยังรวมถึงวิธีการที่นอกเหนือไปจากการจับคู่เทมเพลตแบบง่าย
การเรียนรู้จากตัวอย่างเสนอวิธีรองรับความแปรปรวนของเส้นขีดและรูปร่างของตัวอักษร นอกจากนี้ยังทำให้ข้อมูลการฝึกอบรมและการประเมินมีความสำคัญมากขึ้น ระบบอาจทำงานได้ดีกับตัวเลขที่เขียนด้วยลายมือแบบแยกส่วน แต่กลับประสบปัญหาเมื่อต้องจัดการกับลายมือที่เชื่อมต่อกันหรือแบบฟอร์มที่ไม่คุ้นเคย ความก้าวหน้าในงานจดจำงานหนึ่งมีคุณค่าโดยไม่จำเป็นต้องแก้ปัญหาเอกสารประเภทอื่นทั้งหมดโดยอัตโนมัติ
คอลเลกชันดิจิทัลขนาดใหญ่เปลี่ยน OCR ให้เป็นเครื่องมือในการค้นพบ
โครงการแปลงเป็นดิจิทัลได้ขยายบทบาทของ OCR จากการนำหน้าเอกสารกลับมาใช้ใหม่ไปสู่การค้นพบข้อมูลทั่วทั้งคอลเลกชัน ห้องสมุดและหอจดหมายเหตุสามารถเก็บรักษาภาพหนังสือพิมพ์ หนังสือ และบันทึกต่างๆ พร้อมกับจัดทำดัชนีข้อความที่จดจำได้ หอสมุดรัฐสภาได้เปิดตัว Chronicling America ในเดือนมีนาคม 2007 ซึ่งมอบแหล่งข้อมูลที่ค้นหาได้สำหรับหนังสือพิมพ์ประวัติศาสตร์ให้กับนักวิจัย
สิ่งนี้เปลี่ยนวิธีที่ผู้คนเข้าถึงหอจดหมายเหตุ ชื่อ สถานที่ หรือวลีสามารถนำไปสู่หน้าเอกสารที่เกี่ยวข้องได้โดยตรงโดยไม่ต้องให้ผู้อ่านตรวจสอบทุกฉบับ OCR กลายเป็นส่วนหนึ่งของระบบขนาดใหญ่ที่ประกอบด้วยการสแกน ข้อมูลเมตา การจัดทำดัชนี และการเรียกคืน ความมีประโยชน์ของมันไม่ได้วัดจากความใกล้เคียงของเอกสารที่ส่งออกกับต้นฉบับเพียงอย่างเดียวอีกต่อไป
วัสดุทางประวัติศาสตร์ยังเผยให้เห็นจุดอ่อนที่คงอยู่ เช่น กระดาษที่เสียหาย แบบอักษรเก่า ระยะห่างที่ไม่สม่ำเสมอ และคอลัมน์ที่ซับซ้อน ข้อผิดพลาดในการจดจำอาจซ่อนผลการค้นหาที่เกี่ยวข้องหรือสร้างผลลัพธ์ที่ทำให้เข้าใจผิด การเก็บหน้าต้นฉบับไว้ควบคู่ไปกับข้อความที่สร้างโดยเครื่องช่วยให้ผู้อ่านตรวจสอบการค้นพบได้ และทำให้การจดจำที่ดีขึ้นเป็นวิธีในการเพิ่มคุณค่าให้กับคอลเลกชันดิจิทัลที่มีอยู่โดยไม่ต้องสแกนทุกรายการใหม่
การอ่านลำดับทั้งหมดโดยไม่ต้องแยกทุกตัวอักษร
ความยากลำบากที่มีมานานในการจดจำลายมือคือการตัดสินว่าตัวอักษรหนึ่งสิ้นสุดที่ใดและตัวถัดไปเริ่มต้นที่ใด เส้นขีดที่เชื่อมต่อกันและตัวอักษรที่ซ้อนทับกันทำให้กระบวนการตัดแล้วจำแนกแบบเข้มงวดมีความเปราะบาง วิธีการลำดับทางสถิติ รวมถึงแบบจำลองซ่อนเร้นของมาร์คอฟ ได้จัดการกับปัญหานี้แล้ว โครงข่ายประสาทเทียมแบบวนซ้ำเสนออีกวิธีหนึ่งในการใช้ข้อมูลข้างเคียงในขณะที่ตีความบรรทัด โครงข่ายแบบ Long short-term memory (LSTM) ซึ่งเป็นประเภทของโครงข่ายแบบวนซ้ำ ช่วยรักษาบริบทตลอดทั้งลำดับแทนที่จะตัดสินแต่ละส่วนเล็กๆ อย่างอิสระ
Connectionist Temporal Classification ซึ่งเปิดตัวในปี 2006 ได้จัดหาวิธีการฝึกอบรมสำหรับการจับคู่ลำดับอินพุตกับป้ายกำกับข้อความโดยไม่จำเป็นต้องระบุตำแหน่งของทุกตัวอักษรล่วงหน้า เอกสารต้นฉบับประเมินการพูด ในขณะที่งานต่อมาได้นำแนวทางนี้ไปใช้กับลายมือ เอกสาร 2009 ฉบับหนึ่งได้รวมการฝึกอบรมลำดับเข้ากับโครงข่ายแบบวนซ้ำที่ใช้บริบทจากทั้งสองทิศทางเพื่อจดจำบรรทัดลายมือที่ไม่มีข้อจำกัด
สิ่งนี้ช่วยลดการพึ่งพาการแบ่งส่วนทีละตัวอักษรที่สมบูรณ์แบบ และช่วยให้การจดจำระดับบรรทัดใช้งานได้จริงมากขึ้น มันไม่ได้ลบขั้นตอนการเตรียมการทั้งหมดออกไป ระบบอาจยังคงต้องค้นหาข้อความ ระบุบรรทัด และจัดการการวางแนวหน้าเอกสาร การเปลี่ยนแปลงที่สำคัญคือการจดจำสามารถเรียนรู้การจัดตำแหน่งระหว่างลำดับภาพและถอดความได้ แทนที่จะได้รับขอบเขตของตัวอักษรทุกตัวล่วงหน้า
การเรียนรู้เชิงลึกนำ OCR ไปไกลกว่าเครื่องสแกนแบบแท่น
ข้อความที่ถ่ายภาพได้ขยายปัญหาออกไปอีก ใบเสร็จบนโต๊ะ ป้ายร้านค้า หรือหน้าเอกสารที่ถ่ายในมุมเอียงอาจมีเงา การบิดเบือนของมุมมอง และพื้นหลังที่รบกวน ก่อนที่จะจดจำคำ ระบบต้องค้นหาคำเหล่านั้นก่อน ดังนั้นการตรวจจับข้อความและการจดจำข้อความจึงกลายเป็นงานวิจัยที่เชื่อมโยงกันอย่างใกล้ชิด โดยมีความเกี่ยวข้องในทางปฏิบัติกับการอ่านและการแปลด้วยกล้อง
การเรียนรู้เชิงลึกปรับปรุงทั้งสองขั้นตอน เอกสารเกี่ยวกับข้อความในฉาก 2015 ฉบับหนึ่งได้รวมคุณลักษณะภาพแบบคอนโวลูชัน การประมวลผลลำดับแบบวนซ้ำ และการถอดความไว้ในระบบการจดจำที่ฝึกฝนได้ระบบเดียว แทนที่จะจัดการกับการสกัดคุณลักษณะและการอ่านเป็นส่วนประกอบที่สร้างขึ้นด้วยมือแยกจากกัน นักวิจัยสามารถปรับให้เหมาะสมร่วมกันได้ แนวทางนี้ยังจัดการกับคำที่มีความยาวต่างกันโดยไม่ต้องแยกตัวอักษรแต่ละตัวก่อน
เกณฑ์มาตรฐานสะท้อนถึงสภาวะการจับภาพที่ไม่มีการควบคุมมากขึ้นเรื่อยๆ การแข่งขันการอ่านที่แข็งแกร่ง ICDAR 2015 ได้เพิ่มข้อความในฉากที่เกิดขึ้นโดยบังเอิญ ซึ่งขยายการประเมินออกไปนอกเหนือจากภาพที่จัดกรอบรอบคำที่อ่านได้โดยเจตนา สิ่งนี้สนับสนุนระบบที่สามารถรับมือกับข้อความที่ผู้คนพบในภาพถ่ายในชีวิตประจำวัน นอกจากนี้ยังทำให้ชัดเจนว่าประสิทธิภาพในเอกสารที่สแกนอย่างสะอาดไม่ได้อธิบายความสามารถของผู้อ่านในโลกทัศน์ที่กว้างขึ้นอย่างครบถ้วน
ข้อมูลการฝึกอบรมสังเคราะห์และเกณฑ์มาตรฐานหลายภาษาช่วยขยายความครอบคลุม
วิธีการเรียนรู้ที่ดีขึ้นยังต้องการตัวอย่างที่หลากหลายมากขึ้น ภาพการฝึกอบรมสังเคราะห์ช่วยให้นักวิจัยสร้างข้อความในแบบอักษร ขนาด สี และพื้นหลังที่แตกต่างกันโดยไม่ต้องติดป้ายกำกับภาพถ่ายใหม่ทุกภาพด้วยตนเอง งานวิจัยจาก Oxford ที่ตีพิมพ์ในปี 2016 ได้วางข้อความประดิษฐ์ลงในฉากจริงโดยคำนึงถึงเรขาคณิตของฉากเหล่านั้น ซึ่งให้วัสดุการฝึกอบรมจำนวนมากสำหรับการตรวจจับข้อความ ตัวอย่างที่สร้างขึ้นช่วยเสริมภาพจริงโดยทำให้ความแปรปรวนเฉพาะเจาะจงสร้างได้ง่ายขึ้นในระดับที่ใหญ่ขึ้น
การประเมินหลายภาษาขยายตัวควบคู่กันไป การแข่งขันหลายภาษา ICDAR 2017 รวมเก้าภาษาที่เป็นตัวแทนของหกชุดอักขระ ผู้สืบทอดในปี 2019 ได้เพิ่มภาษาและงานจดจำแบบครบวงจร เกณฑ์มาตรฐานเหล่านี้นำชุดอักขระผสม การวางแนวที่แตกต่างกัน และระบบการเขียนที่หลากหลายมาสู่การตั้งค่าการประเมินทั่วไป
บทเรียนที่กว้างขึ้นคือการสนับสนุนภาษาเกี่ยวข้องมากกว่าการเพิ่มตัวอักษรลงในชุดตัวอักษร ระบบต้องการตัวอย่างการฝึกอบรมที่เหมาะสมและวิธีการที่สามารถรับมือกับโครงสร้างตัวอักษรที่แตกต่างกัน การเขียนที่เชื่อมต่อกัน และทิศทางการอ่าน ชุดข้อมูลที่ใช้ร่วมกันทำให้ความแตกต่างดังกล่าววัดได้ง่ายขึ้น ในขณะเดียวกันก็เผยให้เห็นช่องว่างระหว่างประสิทธิภาพในภาษาที่มีตัวแทนดีและวัสดุที่ไม่คุ้นเคย
การเรียนรู้ที่ตระหนักถึงความสนใจและเค้าโครงเชื่อมโยงคำเข้ากับโครงสร้างหน้าเอกสาร
สถาปัตยกรรมทรานส์ฟอร์เมอร์ที่เปิดตัวในปี 2017 สำหรับงานด้านภาษา ได้จัดหาวิธีที่มีประสิทธิภาพในการสร้างแบบจำลองความสัมพันธ์ตลอดทั้งลำดับผ่านความสนใจ ความสำคัญของมันต่อ OCR พัฒนาผ่านการประยุกต์ใช้ในภายหลังกับการจดจำข้อความและการวิเคราะห์เอกสาร ความสนใจช่วยให้ระบบสามารถชั่งน้ำหนักส่วนที่เกี่ยวข้องของอินพุตในขณะที่สร้างผลลัพธ์ เพิ่มอีกแนวทางหนึ่งควบคู่ไปกับโครงข่ายแบบคอนโวลูชันและแบบวนซ้ำ
การวิจัยเอกสารไม่ได้มองเพียงแค่การถอดความแบบธรรมดา งานวิจัยที่ส่งเมื่อเดือน 2019 และตีพิมพ์ใน 2020 ได้รวมข้อความที่อ่านได้เข้ากับตำแหน่งบนหน้ากระดาษในระหว่างการฝึกฝนล่วงหน้า จากนั้นจึงรวมคุณลักษณะทางภาพเมื่อปรับระบบให้เข้ากับงานด้านเอกสารเฉพาะทาง ตำแหน่งมีความสำคัญเนื่องจากคำเดียวกันอาจมีบทบาทต่างกันในหัวข้อ บล็อกที่อยู่ หรือแถวของแบบฟอร์ม
สิ่งนี้ช่วยเชื่อมโยงการจดจำข้อความเข้ากับงานต่างๆ เช่น การจำแนกประเภทเอกสารและการดึงข้อมูล การอ่านตัวเลขและระบุว่าเป็นยอดรวมในใบแจ้งหนี้เป็นสิ่งที่เกี่ยวข้องกันแต่เป็นการดำเนินการที่แตกต่างกัน โครงสร้างของหน้ากระดาษให้เบาะแสสำหรับการดำเนินการอย่างหลัง วิธีการที่คำนึงถึงเค้าโครงไม่ได้ทำให้ OCR กลายเป็นสิ่งไม่จำเป็น แต่ได้นำเสนอวิธีใช้ผลลัพธ์ร่วมกับหลักฐานทางภาพโดยรอบ ซึ่งเป็นการยกระดับการประมวลผลเอกสารไปสู่ความสัมพันธ์ระหว่างองค์ประกอบต่างๆ แทนที่จะเป็นเพียงกระแสของคำเพียงอย่างเดียว
Transformers อ่านข้อความและสร้างผลลัพธ์ของเอกสารโดยตรง
ภายในปี 2021 นักวิจัยได้นำ Transformer สำหรับรูปภาพและข้อความที่ผ่านการฝึกฝนล่วงหน้ามาใช้กับการจดจำข้อความโดยตรง แนวทางหนึ่งที่ตีพิมพ์ได้จับคู่ตัวเข้ารหัสรูปภาพกับตัวถอดรหัสข้อความ และประเมินข้อความที่พิมพ์ ลายมือเขียน และข้อความในฉาก การฝึกฝนล่วงหน้าบนคอลเลกชันขนาดใหญ่ ตามด้วยการฝึกฝนสำหรับงานที่เฉพาะเจาะจงมากขึ้น เป็นอีกเส้นทางหนึ่งในการเรียนรู้รูปแบบทางภาพและสร้างลำดับตัวอักษรหรือคำที่สอดคล้องกัน
งานวิจัยอีกสายหนึ่งได้สำรวจการสร้างผลลัพธ์เอกสารที่มีโครงสร้างจากรูปภาพโดยไม่ต้องรันเครื่องมือ OCR แบบดั้งเดิมแยกต่างหาก งานวิจัยที่นำเสนอในช่วงปลายปี 2021 และปรับปรุงใน 2022 ได้สาธิตแนวทางนี้สำหรับการทำความเข้าใจเอกสาร คำว่า OCR-free ในงานนั้นอธิบายถึงการไม่มีขั้นตอน OCR แยกต่างหาก ระบบยังคงต้องดึงข้อมูลที่เป็นลายลักษณ์อักษรที่เกี่ยวข้องจากรูปภาพ
การพัฒนาเหล่านี้ได้ขยายสถาปัตยกรรมที่มีอยู่ ระบบประมวลผลอาจจดจำข้อความแล้ววิเคราะห์ หรือฝึกฝนโมเดลเพื่อสร้างผลลัพธ์ที่ต้องการโดยตรง ไม่มีรูปแบบใดที่รับประกันผลลัพธ์ที่ถูกต้องแม่นยำในทุกหน้า ทางเลือกนี้จะเปลี่ยนจุดที่ข้อผิดพลาดอาจเกิดขึ้น วิธีการตรวจสอบผลลัพธ์ และความง่ายในการเก็บรักษาหลักฐานขั้นกลาง เช่น คำที่จดจำได้และตำแหน่งของคำเหล่านั้น
ระบบมัลติโมดัลขยายขอบเขตการอ่านเอกสารและสร้างบททดสอบใหม่ๆ
ระบบมัลติโมดัลในปัจจุบันผสมผสานการประมวลผลรูปภาพและการสร้างภาษาเข้าด้วยกัน ทำให้ข้อความในเอกสารสามารถมีส่วนร่วมในการโต้ตอบที่กว้างขึ้นได้ ขึ้นอยู่กับระบบและงาน ผู้ใช้อาจขอให้ถอดความ ถามคำถามเกี่ยวกับหน้ากระดาษ หรือดึงข้อมูลบางฟิลด์ การจดจำข้อความเริ่มเข้ามาเป็นส่วนหนึ่งของขั้นตอนการทำงานด้านเอกสารที่ใหญ่ขึ้น ในขณะที่ OCR แบบเฉพาะทางยังคงมีประโยชน์เมื่อความต้องการหลักคือการได้บันทึกที่แม่นยำและตรวจสอบได้
การประเมินผลได้ขยายขอบเขตตามไปด้วย OCRBench ซึ่งเปิดตัวในปี 2023 ได้พิจารณาการจดจำข้อความควบคู่ไปกับคำถามเกี่ยวกับเอกสาร การดึงข้อมูล และนิพจน์ทางคณิตศาสตร์ที่เขียนด้วยลายมือ ส่วนรุ่นถัดมาที่เปิดตัวเมื่อสิ้นปี 2024 และปรับปรุงใน 2025 ได้ตรวจสอบชุดข้อความทางภาพและงานด้านการใช้เหตุผลที่กว้างขึ้น ข้อจำกัดที่รายงานรวมถึงรายละเอียดเล็กๆ น้อยๆ เค้าโครง องค์ประกอบที่ซับซ้อน และข้อความที่ไม่คุ้นเคย ซึ่งแสดงให้เห็นว่าเหตุใดการอ้างสิทธิ์ความแม่นยำเพียงอย่างเดียวจึงไม่สามารถครอบคลุมทุกความต้องการในการอ่านเอกสารได้
ความสามารถที่กว้างขึ้นนี้ยังทำให้วัตถุประสงค์ของผลลัพธ์มีความสำคัญมากขึ้น คำอธิบายที่เป็นประโยชน์อาจเป็นการสรุปความ ในขณะที่บันทึกที่ถูกต้องต้องรักษาเนื้อหาที่ปรากฏบนหน้ากระดาษจริงๆ ไว้ การใช้ถ้อยคำที่สละสลวยไม่สามารถยืนยันได้ว่าชื่อ จำนวนเงิน หรือคำพูดนั้นถูกอ่านอย่างถูกต้อง ระบบจำเป็นต้องมีการประเมินที่เหมาะสมกับงาน ไม่ว่าจะเป็นความแม่นยำของตัวอักษร ลำดับการอ่าน โครงสร้างตาราง หรือความถูกต้องของฟิลด์ที่ดึงข้อมูลมา
ตลอดศตวรรษที่ผ่านมา ทิศทางของความก้าวหน้ามุ่งไปสู่การป้อนข้อมูลที่ควบคุมน้อยลงและผลลัพธ์ที่มีประโยชน์มากขึ้น ตั้งแต่ตัวอักษรที่กำหนดไว้ล่วงหน้าไปจนถึงงานพิมพ์ทั่วไป ลายมือเขียน ภาพถ่าย และเอกสารที่ซับซ้อน แนวทางใหม่ๆ ยังคงเข้ามาเสริมแนวทางเดิมที่มีอยู่ ความท้าทายหลักยังคงเหมือนเดิม นั่นคือการเปลี่ยนหลักฐานทางภาพให้เป็นข้อมูลที่เชื่อถือได้ในขณะที่ยังคงรักษารายละเอียดที่สำคัญไว้