الضوء والصوت وأولى مناهج القراءة الآلية
تكمن بعض جذور OCR في محاولات جعل المطبوعات في متناول القراء المكفوفين. في 1914، وصف إي. إي. فورنييه دالبي جهاز "أوبتوفون" لقراءة الحروف، والذي حول أنماط الضوء من الصفحة إلى إشارات مسموعة. تعلم المستمع تفسير تلك الإشارات. لقد كان وسيلة مساعدة للقراءة البصرية، بدلاً من كونه آلة تنتج نصًا تلقائيًا، لكنه أثبت أن العلامات المطبوعة يمكن استشعارها وتمثيلها في شكل آخر.
سعى مخترعون آخرون إلى التعرف التلقائي على الحروف. أوضحت براءة اختراع آلة القراءة لغوستاف تاوشيك، التي تم إيداعها في 1928 ونُشرت في 1930، المقارنة الكهروضوئية مع قوالب الحروف. استخدم مثال قراءة الأرقام الخاص بها قواطع دوارة لاختبار الشكل المقدم للجهاز. جمعت هذه المناهج بين البصريات والحركة الميكانيكية والاستشعار الكهربائي قبل وقت طويل من انتشار أجهزة الكمبيوتر الرقمية للأغراض العامة.
سيظل التمييز بين اكتشاف العلامة وتحديد الحرف أمرًا محوريًا في OCR. كان التقاط الصفحة مجرد بداية: فكان القارئ المفيد يحتاج أيضًا إلى تمييز الأشكال المتشابهة والتعبير عن قراره في شكل يمكن لجهاز آخر استخدامه.
قارئات الحروف تدخل عمليات الأعمال
خلال 1950، اقتربت القراءة التلقائية من معالجة الأعمال اليومية. تم إيداع براءة اختراع جهاز القراءة لديفيد شيبرد في 1951 وصدرت في 1953. سجل مسح معاصر للمكتب الوطني للمعايير تثبيتًا للإنتاج في "ريدرز دايجست" في 1955. عالجت مثل هذه الأنظمة عنق زجاجة عملي: المعلومات المطبوعة بالفعل على الورق كان يجب إدخالها مرة أخرى بواسطة شخص قبل أن يتمكن الكمبيوتر من معالجتها.
عادة ما تعمل هذه القارئات في ظروف أضيق بكثير من أدوات المستندات العامة اليوم. جعلت مجموعة الحروف المقيدة، والطباعة القابلة للتنبؤ، والموضع الخاضع للرقابة مشكلة التعرف أكثر قابلية للإدارة. تم تصميم الماسح الضوئي، وأجهزة التعرف، وآلية الإخراج كنظام منسق، غالبًا لفئة معينة من المستندات.
كان هذا تغييرًا كبيرًا في الغرض والحجم. أصبحت القراءة الضوئية طريقة إدخال لحوسبة الأعمال. اعتمد النجاح على المعالجة المتسقة لعبء عمل محدد، بدلاً من إثبات أن الآلة يمكنها التعرف على بضعة أحرف في ظروف المختبر.
الخطوط الموحدة تجعل النص المطبوع أسهل في التعرف عليه
إحدى طرق تحسين التعرف هي جعل المدخلات أكثر قابلية للتنبؤ. استخدمت الخطوط القابلة للقراءة آليًا مثل OCR-A وOCR-B أشكال حروف ومتطلبات طباعة محددة، مما قلل من التباين الذي كان على القارئ التعامل معه. ظهر OCR-B في معيار ECMA-11 في 1965، مع تنقيح الإصدارات اللاحقة للمواصفات. ساعد التقييس المعدات والمستندات المطبوعة على العمل معًا بشكل أكثر اتساقًا.
وضع هذا النهج جزءًا من الجهد الهندسي على المستند نفسه. يمكن للخط المحكم التحكم أن يجعل الرقم أسهل في التمييز عن رقم آخر، بينما قللت الأبعاد والتباعد المحددان من عدم اليقين أثناء المسح الضوئي. كانت المقايضة هي المرونة: فالقارئ المصمم حول طباعة خاضعة للرقابة لا يمكنه التعامل تلقائيًا مع كل صحيفة أو كتاب أو ملاحظة مكتوبة بخط اليد.
يجب أيضًا تمييز التعرف الضوئي على الحروف عن التعرف على الحروف بالحبر المغناطيسي، أو MICR. كلاهما يدعم أتمتة المستندات، لكن MICR يستشعر الحروف القابلة للقراءة مغناطيسيًا، بينما يفسر OCR صورتها المرئية. تطورت التقنيتان جنبًا إلى جنب؛ وهما ليستا اسمين مختلفين لنفس عملية القراءة.
التعرف على الخطوط المتعددة يجعل المطبوعات العادية في المتناول
كان الطموح التالي هو قراءة المواد التي لم تتم طباعتها خصيصًا لآلة. هدف التعرف على الخطوط المتعددة إلى التعامل مع مجموعة من الخطوط العادية، مما يقلل الاعتماد على أبجدية واحدة محددة. وصف الاسم ذلك الاتجاه من التقدم؛ ولم يعنِ أن كل خط أو مسح ضوئي أو تخطيط صفحة يمكن قراءته دون خطأ.
كان أحد المعالم البارزة هو آلة القراءة التي قدمها راي كورزويل وفريقه في 13 يناير 1976. في تاريخه الشفهي للمؤسسة الأمريكية للمكفوفين، يصف كورزويل الجمع بين المسح الضوئي، والتعرف على الحروف، والكلام المُركب. معًا، سمحت تلك المكونات للمواد المطبوعة بأن تصبح مخرجات منطوقة، مما ربط التعرف بتجربة قراءة كاملة.
دعمت نفس التطورات الأساسية أيضًا إدخال البيانات التجاري. اعتمدت قيمة OCR بشكل متزايد على التعامل مع المستندات الموجودة، وليس فقط المستندات المصممة حول قيود القارئ. في الوقت نفسه، أظهرت هذه الأنظمة سبب عدم كفاية التعرف على الحروف الفردية: فكان يجب تجميع الكلمات بترتيب مفيد قبل أن يمكن قراءتها بصوت عالٍ أو إعادة استخدامها.
المسح الضوئي وOCR يصبحان جزءًا من سير عمل سطح المكتب
مع تطور أجهزة الكمبيوتر الشخصية والماسحات الضوئية المكتبية، انتقلت OCR إلى ما هو أبعد من منشآت القراءة المخصصة. وقد تعامل تقييم لوكالة حماية البيئة الأمريكية 1990 للماسحات الضوئية المكتبية بالفعل مع التعرف على النصوص كقدرة مكتبية عملية، حيث قارن بين المعدات والبرامج لتحويل الورق إلى ملفات كمبيوتر قابلة للاستخدام. أصبح مسح الصفحة ضوئيًا ونقل نصها إلى معالج النصوص سير عمل يسهل الوصول إليه بشكل متزايد.
كان على البرامج أن تفعل أكثر من مجرد تصنيف الأحرف المعزولة. فقد احتاجت إلى فصل النص عن الصور، وتحديد الأسطر والأعمدة، والتعويض عن المسح الضوئي المائل، وتحديد كيفية تمثيل الصفحة في مستند قابل للتحرير. أصبحت عملية تنظيف الصور، وتحليل التخطيط، والقواميس، والفحوصات السياقية أجزاءً مهمة من عملية التعرف الشاملة. قد تحتوي الصفحة على أحرف صحيحة في الغالب ولكنها لا تزال تتطلب إصلاحًا جوهريًا إذا كانت أعمدتها مختلطة معًا.
أضاف تقديم PDF في 1993 طريقة محمولة لتبادل المستندات القائمة على الصفحات. كان PDF تنسيق مستند، وليس طريقة للتعرف، لكنه وفر مكانًا مفيدًا للصفحات الممسوحة ضوئيًا والنصوص المرتبطة بها. أصبح الحفاظ على مظهر الصفحة وجعل محتوياتها قابلة للبحث هدفين متكاملين الآن.
أبحاث الكتابة اليدوية والشبكات العصبية تغير التعرف
إلى جانب اعتماد الأجهزة المكتبية، كان الباحثون يعملون على تحسين التعرف على الكتابة الأقل قابلية للتنبؤ. تضمن برنامج OCR التابع للمعهد الوطني للمعايير والتقنية (NIST) من 1989 إلى 1998 نماذج وتطبيقات مكتوبة بخط اليد تشمل مكتب الإحصاء الأمريكي ومصلحة الضرائب الأمريكية. جعلت مجموعات البيانات العامة وأنظمة المرجعية من الممكن مقارنة الأساليب مقابل أمثلة مشتركة، بدلاً من الاعتماد فقط على العروض التوضيحية بصفحات مختارة بعناية.
كان التعرف العصبي جزءًا مهمًا بالفعل من هذا العمل. وصفت ورقة 1998 البحثية "التعلم القائم على التدرج المطبق على التعرف على المستندات" شبكات تلافيفية تعلمت ميزات بصرية مفيدة من الأمثلة، جنبًا إلى جنب مع طرق للجمع بين التعرف والتقسيم وقيود اللغة. وقد وسع هذا تاريخًا أوسع للتعرف الإحصائي على الأنماط؛ كما تضمنت OCR السابقة طرقًا تتجاوز مطابقة القوالب البسيطة.
قدم التعلم من الأمثلة طريقة لاستيعاب الاختلافات في الضربات وأشكال الأحرف. كما جعل بيانات التدريب والتقييم أكثر أهمية. يمكن للنظام أن يعمل بشكل جيد على الأرقام المكتوبة بخط اليد المعزولة ولكنه يعاني مع الكتابة اليدوية المتصلة أو النماذج غير المألوفة. كان التقدم في مهمة تعرف واحدة ذا قيمة دون حل كل نوع آخر من المستندات تلقائيًا.
المجموعات الرقمية الكبيرة تحول OCR إلى أداة اكتشاف
وسعت مشاريع الرقمنة دور OCR من إعادة استخدام صفحة إلى اكتشاف المعلومات عبر مجموعات كاملة. يمكن للمكتبات والأرشيفات الحفاظ على صور الصحف والكتب والسجلات مع فهرسة نصوصها المعترف بها. أطلقت مكتبة الكونغرس مشروع "تأريخ أمريكا" (Chronicling America) في مارس 2007، مما منح الباحثين موردًا قابلاً للبحث للصحف التاريخية.
غير هذا من كيفية تعامل الناس مع الأرشيف. يمكن لاسم أو مكان أو عبارة أن تؤدي مباشرة إلى صفحة ذات صلة دون الحاجة إلى قيام القارئ بفحص كل إصدار. أصبح OCR جزءًا من نظام أكبر للمسح الضوئي والبيانات الوصفية والفهرسة والاسترجاع. لم تعد فائدته تقاس فقط بمدى تشابه مستند واحد تم تصديره مع مصدره.
كشفت المواد التاريخية أيضًا عن نقاط ضعف مستمرة: الورق التالف، والخطوط القديمة، والتباعد غير المنتظم، والأعمدة المعقدة. يمكن أن تؤدي أخطاء التعرف إلى إخفاء نتيجة بحث ذات صلة أو إنتاج تطابق مضلل. سمح الاحتفاظ بالصفحة الأصلية جنبًا إلى جنب مع النص الذي تم إنشاؤه بواسطة الآلة للقراء بالتحقق من الاكتشافات، وجعل التعرف المحسن وسيلة لإثراء مجموعة رقمية موجودة دون إعادة مسح كل عنصر ضوئيًا.
قراءة تسلسلات كاملة دون فصل كل حرف
كانت الصعوبة طويلة الأمد في التعرف على الكتابة اليدوية هي تحديد أين ينتهي حرف واحد ويبدأ التالي. جعلت الضربات المتصلة والأحرف المتداخلة عملية القطع ثم التصنيف الصارمة هشة. عالجت طرق التسلسل الإحصائي، بما في ذلك نماذج ماركوف المخفية، هذه المشكلة بالفعل. قدمت الشبكات العصبية المتكررة طريقة أخرى لاستخدام المعلومات المجاورة أثناء تفسير سطر ما. ساعدت شبكات الذاكرة الطويلة قصيرة المدى (LSTM)، وهي نوع من الشبكات المتكررة، في الاحتفاظ بالسياق عبر تسلسل بدلاً من الحكم على كل منطقة صغيرة بشكل مستقل.
وفر تصنيف التسلسل الاتصالي (CTC)، الذي تم تقديمه في 2006، طريقة تدريب لمطابقة تسلسلات الإدخال مع تسميات النص دون الحاجة إلى تحديد موضع كل حرف مسبقًا. قيمت الورقة الأصلية الكلام، بينما طبقت الأعمال اللاحقة النهج على الكتابة اليدوية. جمعت ورقة 2009 بين تدريب التسلسل والشبكات المتكررة التي استخدمت السياق من كلا الاتجاهين للتعرف على الأسطر المكتوبة بخط اليد غير المقيدة.
قلل هذا من الاعتماد على التقسيم المثالي حرفًا بحرف وساعد في جعل التعرف على مستوى السطر أكثر عملية. لم يزل كل خطوة تحضيرية: فقد يظل النظام بحاجة إلى تحديد موقع النص، وتحديد الأسطر، والتعامل مع اتجاه الصفحة. كان التغيير المهم هو أن التعرف يمكن أن يتعلم محاذاة بين تسلسل صورة ونسختها بدلاً من تلقي كل حدود حرف مسبقًا.
التعلم العميق يأخذ OCR إلى ما وراء الماسح الضوئي المسطح
وسعت النصوص المصورة المشكلة مرة أخرى. يمكن أن تحتوي إيصال على مكتب، أو لافتة متجر، أو صفحة تم التقاطها بزاوية على ظلال، وتشويه منظور، وخلفية مشتتة. قبل التعرف على الكلمات، كان على النظام العثور عليها. لذلك أصبح اكتشاف النص والتعرف على النص مهام بحثية مترابطة بشكل وثيق، مع أهمية عملية للقراءة والترجمة القائمة على الكاميرا.
حسن التعلم العميق كلتا المرحلتين. جمعت ورقة بحثية عن نص المشهد 2015 بين ميزات الصورة التلافيفية، ومعالجة التسلسل المتكرر، والنسخ في نظام تعرف واحد قابل للتدريب. بدلاً من التعامل مع استخراج الميزات والقراءة كمكونات منفصلة تمامًا مصنوعة يدويًا، يمكن للباحثين تحسينها معًا. تعامل النهج أيضًا مع كلمات بأطوال مختلفة دون عزل كل حرف أولاً.
عكست المعايير بشكل متزايد ظروف الالتقاط غير المنضبطة. أضافت مسابقة القراءة القوية ICDAR 2015 نص مشهد عرضي، مما وسع التقييم إلى ما وراء الصور المؤطرة عمدًا حول كلمات قابلة للقراءة. شجع هذا الأنظمة التي يمكنها التعامل مع النص الذي يواجهه الناس في الصور الفوتوغرافية اليومية. كما أوضح أن الأداء على المستندات الممسوحة ضوئيًا النظيفة لا يصف تمامًا قدرات القارئ في العالم البصري الأوسع.
بيانات التدريب الاصطناعية والمعايير متعددة اللغات توسع التغطية
تطلبت طرق التعلم الأفضل أيضًا أمثلة أكثر تنوعًا. سمحت صور التدريب الاصطناعية للباحثين بإنشاء نص بخطوط وأحجام وألوان وخلفيات مختلفة دون تصنيف كل صورة جديدة يدويًا. وضعت أبحاث أكسفورد المنشورة في 2016 نصًا اصطناعيًا في مشاهد حقيقية مع مراعاة هندستها، مما وفر كميات كبيرة من مواد التدريب لاكتشاف النص. كملت الأمثلة المولدة الصور الحقيقية من خلال جعل اختلافات معينة أسهل في الإنتاج على نطاق واسع.
توسع التقييم متعدد اللغات بالتوازي. تضمن تحدي ICDAR متعدد اللغات 2017 تسع لغات تمثل ستة نصوص؛ أضاف خليفته 2019 لغة ومهمة تعرف شاملة. جلبت هذه المعايير نصوصًا مختلطة، واتجاهات مختلفة، ومجموعة أوسع من أنظمة الكتابة إلى إطار تقييم مشترك.
كان الدرس الأوسع هو أن دعم اللغة يتضمن أكثر بكثير من مجرد إضافة أحرف إلى الأبجدية. كانت الأنظمة بحاجة إلى أمثلة تدريبية مناسبة وطرق يمكنها التعامل مع هياكل الأحرف المختلفة، والكتابة المتصلة، واتجاهات القراءة. جعلت مجموعات البيانات المشتركة قياس مثل هذه الاختلافات أسهل، مع كشف الفجوات في الأداء بين اللغات الممثلة جيداً والمواد الأقل ألفة.
الانتباه والتعلم الواعي بالتخطيط يربطان الكلمات بهيكل الصفحة
وفرت بنية المحولات (Transformer)، التي تم تقديمها في 2017 لمهام اللغة، طريقة قوية لنمذجة العلاقات عبر تسلسل من خلال الانتباه. تطورت أهميتها لـ OCR من خلال تطبيقات لاحقة في التعرف على النصوص وتحليل المستندات. سمح الانتباه للنظام بوزن الأجزاء ذات الصلة من مدخلاته أثناء إنتاج نتيجة، مما أضاف نهجاً آخر بجانب الشبكات التلافيفية والمتكررة.
كانت أبحاث المستندات تتطلع أيضاً إلى ما هو أبعد من النص العادي. جمعت دراسة تم تقديمها في ديسمبر 2019 ونُشرت في 2020 بين النص المعترف به وموقعه على الصفحة أثناء التدريب المسبق، ثم دمجت الميزات المرئية عند تكييف النظام مع مهام مستندات محددة. كان الموقع مهماً لأن الكلمات نفسها يمكن أن تلعب أدواراً مختلفة في عنوان، أو كتلة عنوان، أو صف في نموذج.
ساعد هذا في ربط التعرف بمهام مثل تصنيف المستندات واستخراج المعلومات. قراءة رقم وتحديده كإجمالي فاتورة هما عمليتان مرتبطتان ولكن متميزتان؛ يوفر هيكل الصفحة أدلة للثانية. لم تجعل الطرق الواعية بالتخطيط OCR غير ضرورية. بل قدمت طرقاً لاستخدام مخرجاتها جنباً إلى جنب مع الأدلة المرئية المحيطة، مما نقل معالجة المستندات نحو العلاقات بين العناصر بدلاً من مجرد تدفق واحد للكلمات.
المحولات تقرأ النص وتولد نتائج المستندات مباشرة
بحلول 2021، كان الباحثون يطبقون محولات الصور والنصوص المدربة مسبقاً مباشرة على التعرف. ربط نهج منشور بين مشفر صور ومفكك نصوص وقيم النصوص المطبوعة والمكتوبة بخط اليد والموجودة في المشاهد. قدم التدريب المسبق على مجموعات كبيرة، متبوعاً بالتدريب لمهمة أكثر تحديداً، مساراً آخر لتعلم الأنماط المرئية وإنتاج تسلسلات أحرف أو كلمات متماسكة.
استكشف خط عمل منفصل توليد نتائج مستندات منظمة من الصور دون تشغيل محرك OCR تقليدي مستقل أولاً. أظهر البحث الذي تم تقديمه في أواخر 2021 والمراجع في 2022 هذا النهج لفهم المستندات. يصف مصطلح خالي من OCR في ذلك العمل غياب مرحلة OCR منفصلة؛ لا يزال يتعين على النظام استخلاص المعلومات المكتوبة ذات الصلة من الصورة.
وسعت هذه التطورات البنى المتاحة. قد يقوم نظام المعالجة بالتعرف على النص ثم تحليله، أو تدريب نموذج لإنتاج نتيجة مطلوبة مباشرة. لا يضمن أي من الترتيبين مخرجات دقيقة في كل صفحة. يغير الاختيار المكان الذي يمكن أن تدخل فيه الأخطاء، وكيف يتم فحص النتائج، ومدى سهولة الاحتفاظ بالأدلة الوسيطة، مثل الكلمات المعترف بها ومواقعها.
الأنظمة متعددة الوسائط توسع قراءة المستندات وتطرح اختبارات جديدة
تجمع الأنظمة متعددة الوسائط الحديثة بين معالجة الصور وتوليد اللغة، مما يسمح لنص المستند بالمشاركة في تفاعلات أوسع. اعتماداً على النظام والمهمة، قد يطلب المستخدم نسخاً، أو يطرح سؤالاً حول صفحة، أو يستخرج حقولاً معينة. يقع التعرف بشكل متزايد ضمن سير عمل مستندات أكبر، بينما يظل OCR المخصص مفيداً عندما يكون المطلب الرئيسي هو الحصول على نسخة دقيقة وقابلة للفحص.
توسع التقييم وفقاً لذلك. نظر OCRBench، الذي تم تقديمه في 2023، في التعرف جنباً إلى جنب مع أسئلة المستندات، واستخراج المعلومات، والتعبيرات الرياضية المكتوبة بخط اليد. فحص خليفته، الذي تم إصداره في نهاية 2024 والمراجع في 2025، مجموعة أوسع من النصوص المرئية ومهام التفكير. تضمنت القيود المبلغ عنها التفاصيل الدقيقة، والتخطيط، والعناصر المعقدة، والنصوص الأقل ألفة، مما يوضح سبب عدم قدرة مطالبة دقة واحدة على التقاط كل متطلبات قراءة المستندات.
هذه القدرة الأوسع تجعل الغرض من المخرجات أكثر أهمية. قد يعيد التفسير المفيد الصياغة، بينما يجب أن تحافظ النسخة الدقيقة على ما تقوله الصفحة بالفعل. لا يمكن للصياغة الطليقة أن تثبت أنه تمت قراءة اسم أو مبلغ أو اقتباس بشكل صحيح. تحتاج الأنظمة إلى تقييم مناسب للمهمة، سواء كان ذلك يعني دقة الأحرف، أو ترتيب القراءة، أو هيكل الجدول، أو صحة حقل مستخرج.
على مدار القرن، كان اتجاه التقدم نحو مدخلات أقل تحكماً ومخرجات أكثر فائدة: من الأحرف المحددة إلى الطباعة العادية، وخط اليد، والصور الفوتوغرافية، والمستندات المعقدة. تستمر الأساليب الجديدة في الانضمام إلى الأساليب الراسخة. يظل التحدي المركزي معروفاً: تحويل الأدلة المرئية إلى معلومات موثوقة مع الحفاظ على التفاصيل المهمة.
