نور، صدا و اولین رویکردها به خواندن ماشینی
برخی از ریشههای OCR در تلاش برای دسترسپذیر کردن چاپ برای خوانندگان نابینا نهفته است. در 1914، ای. ای. فورنیه دآلب نوعی اپتوفونِ خواننده متن را توصیف کرد که الگوهای نور را از یک صفحه به سیگنالهای صوتی تبدیل میکرد. شنونده یاد میگرفت که آن سیگنالها را تفسیر کند. این یک ابزار کمکی خواندن نوری بود، نه ماشینی که بهطور خودکار یک متن رونویسیشده تولید کند، اما نشان داد که علائم چاپی میتوانند حس شده و به شکل دیگری نمایش داده شوند.
مخترعان دیگر شناسایی خودکار نویسهها را دنبال کردند. حق اختراع ماشین خواندن گوستاو تاوشک که در 1928 ثبت و در 1930 منتشر شد، مقایسه فوتوالکتریک با الگوهای نویسه را نشان میداد. مثال خواندن اعداد در آن، از برشهای چرخان برای آزمایش شکل ارائهشده به دستگاه استفاده میکرد. این رویکردها مدتها پیش از آنکه رایانههای دیجیتال همهمنظوره رایج شوند، اپتیک، حرکت مکانیکی و حسگرهای الکتریکی را گرد هم آوردند.
تمایز بین تشخیص یک علامت و شناسایی یک نویسه، هسته اصلی OCR باقی ماند. ثبت صفحه تنها آغاز کار بود: یک خواننده مفید همچنین باید اشکال مشابه را تشخیص میداد و تصمیم خود را به شکلی بیان میکرد که دستگاه دیگری بتواند از آن استفاده کند.
ورود خوانشگرهای نویسه به عملیات تجاری
در طول دهه 1950، خواندن خودکار به پردازشهای تجاری روزمره نزدیکتر شد. حق اختراع دستگاه خواندن دیوید شپرد در 1951 ثبت و در 1953 صادر شد. یک بررسی معاصر توسط اداره ملی استانداردها، نصب یک دستگاه تولیدی در Reader's Digest در 1955 را ثبت کرد. چنین سیستمهایی به یک گلوگاه عملی پاسخ میدادند: اطلاعاتی که قبلاً روی کاغذ چاپ شده بود، در غیر این صورت باید پیش از پردازش توسط رایانه، دوباره توسط یک شخص وارد میشد.
این خوانشگرها معمولاً در شرایط بسیار محدودتری نسبت به ابزارهای اسناد عمومی امروزی کار میکردند. مجموعه نویسههای محدود، چاپ قابل پیشبینی و جایگذاری کنترلشده، مشکل تشخیص را مدیریتپذیرتر میکرد. اسکنر، سختافزار تشخیص و مکانیسم خروجی به عنوان یک سیستم هماهنگ، اغلب برای دسته خاصی از اسناد طراحی میشدند.
این تغییر قابلتوجهی در هدف و مقیاس بود. خواندن نوری در حال تبدیل شدن به یک روش ورودی برای محاسبات تجاری بود. موفقیت به پردازش مداوم یک حجم کاری تعریفشده بستگی داشت، نه به اثبات اینکه یک ماشین میتواند چند نویسه را در شرایط آزمایشگاهی تشخیص دهد.
قلمهای استاندارد، تشخیص متن چاپی را آسانتر میکنند
یکی از راههای بهبود تشخیص، قابل پیشبینیتر کردن ورودی بود. قلمهای قابل خواندن توسط ماشین مانند OCR-A و OCR-B از اشکال نویسه و الزامات چاپ مشخصی استفاده میکردند که تنوعی را که خواننده باید مدیریت میکرد، کاهش میداد. OCR-B در استاندارد ECMA-11 در 1965 ظاهر شد و نسخههای بعدی مشخصات آن را بهبود بخشیدند. استانداردسازی به تجهیزات و اسناد چاپی کمک کرد تا با ثبات بیشتری با هم کار کنند.
این رویکرد بخشی از تلاش مهندسی را بر روی خود سند قرار داد. یک قلم بهشدت کنترلشده میتوانست تشخیص یک عدد از عدد دیگر را آسانتر کند، در حالی که ابعاد و فاصلهگذاری مشخص، عدم قطعیت را در حین اسکن کاهش میداد. نقطه ضعف آن انعطافپذیری بود: خوانندهای که بر اساس چاپ کنترلشده طراحی شده بود، نمیتوانست بهطور خودکار هر روزنامه، کتاب یا یادداشت دستنویسی را مدیریت کند.
تشخیص نوری نویسهها همچنین باید از تشخیص نویسه با جوهر مغناطیسی یا MICR متمایز شود. هر دو از اتوماسیون اسناد پشتیبانی میکردند، اما MICR نویسههای قابل خواندن مغناطیسی را حس میکند، در حالی که OCR تصویر قابل مشاهده آنها را تفسیر میکند. این دو فناوری در کنار هم توسعه یافتند؛ آنها نامهای متفاوتی برای یک فرآیند خواندن یکسان نیستند.
تشخیص همهقلم (Omnifont)، چاپ معمولی را در دسترس قرار میدهد
هدف بعدی، خواندن مطالبی بود که بهطور ویژه برای ماشین چاپ نشده بودند. تشخیص همهقلم با هدف مدیریت طیفی از قلمهای معمولی، وابستگی به یک الفبای واحد تجویز شده را کاهش داد. این نام آن جهت پیشرفت را توصیف میکرد؛ به این معنی نبود که هر قلم، اسکن یا طرحبندی صفحه بدون خطا قابل خواندن است.
یک نقطه عطف برجسته، ماشین خواندنی بود که توسط ری کرزویل و تیمش در ژانویه 13، 1976 معرفی شد. کرزویل در تاریخ شفاهی خود برای بنیاد آمریکایی نابینایان، ترکیبی از اسکن، تشخیص نویسه و گفتار سنتز شده را توصیف میکند. این اجزا در کنار هم اجازه دادند که مطالب چاپی به خروجی گفتاری تبدیل شوند و تشخیص را با یک تجربه خواندن کامل پیوند دهند.
همان پیشرفتهای زیربنایی از ورود دادههای تجاری نیز پشتیبانی میکردند. ارزش OCR بهطور فزایندهای به مدیریت اسناد موجود بستگی داشت، نه فقط اسنادی که بر اساس محدودیتهای یک خواننده طراحی شده بودند. در عین حال، این سیستمها نشان دادند که چرا تشخیص حروف فردی کافی نیست: کلمات باید پیش از آنکه بتوانند با صدای بلند خوانده شوند یا دوباره استفاده شوند، به ترتیب مفیدی کنار هم قرار میگرفتند.
اسکن و OCR بخشی از گردش کار دسکتاپ میشوند
با توسعه رایانههای شخصی و اسکنرهای دسکتاپ، OCR فراتر از تاسیسات خواندن اختصاصی حرکت کرد. ارزیابی اسکنرهای دسکتاپ توسط آژانس حفاظت از محیط زیست ایالات متحده در 1990، تشخیص متن را به عنوان یک قابلیت اداری کاربردی در نظر گرفت و تجهیزات و نرمافزارها را برای تبدیل کاغذ به فایلهای رایانهای قابل استفاده مقایسه کرد. اسکن یک صفحه و انتقال متن آن به یک واژهپرداز، به یک گردش کار بهطور فزایندهای در دسترس تبدیل شد.
نرمافزار باید کاری بیش از طبقهبندی نویسههای جداگانه انجام میداد. نیاز بود متن را از تصاویر جدا کند، خطوط و ستونها را شناسایی کند، کجی اسکنها را جبران کند و تصمیم بگیرد که چگونه صفحه را در یک سند قابل ویرایش نمایش دهد. پاکسازی تصویر، تحلیل طرحبندی، فرهنگ لغتها و بررسیهای متنی به بخشهای مهمی از فرآیند کلی تشخیص تبدیل شدند. یک صفحه میتوانست عمدتاً دارای حروف صحیح باشد، اما اگر ستونهایش با هم مخلوط شده بودند، همچنان نیاز به تعمیر اساسی داشت.
معرفی PDF در 1993، روشی قابلحمل برای تبادل اسناد مبتنی بر صفحه ارائه کرد. PDF یک فرمت سند بود، نه یک روش تشخیص، اما بستری مفید برای صفحات اسکنشده و متنهای مرتبط فراهم کرد. حفظ ظاهر صفحه و قابلجستجو کردن محتوای آن، اکنون میتوانستند اهدافی مکمل باشند.
تحقیقات دستخط و شبکههای عصبی، تشخیص را متحول میکنند
همگام با پذیرش اسکنرهای رومیزی، محققان در حال بهبود تشخیص نوشتههای کمتر قابل پیشبینی بودند. برنامه OCR مؤسسه NIST از سال 1989 تا 1998 شامل فرمها و درخواستهای دستنویس با مشارکت اداره سرشماری ایالات متحده و سازمان خدمات درآمد داخلی (IRS) بود. مجموعهدادههای عمومی و سیستمهای مرجع، مقایسه روشها با استفاده از نمونههای مشترک را ممکن ساختند، به جای اینکه تنها به نمایشهایی با صفحاتِ با دقت انتخابشده تکیه شود.
تشخیص عصبی از قبل بخش مهمی از این کار بود. مقاله 1998 با عنوان «یادگیری مبتنی بر گرادیان در تشخیص اسناد»، شبکههای کانولوشنی را توصیف کرد که ویژگیهای بصری مفید را از نمونهها یاد میگرفتند، و همچنین روشهایی برای ترکیب تشخیص، بخشبندی و محدودیتهای زبانی ارائه داد. این کار تاریخچه گستردهتری از تشخیص آماری الگو را توسعه داد؛ روشهای پیشین OCR نیز شامل متدهایی فراتر از تطبیق ساده الگو بودند.
یادگیری از نمونهها راهی برای انطباق با تغییرات در ضربات قلم و شکل حروف ارائه داد. این امر همچنین اهمیت دادههای آموزشی و ارزیابی را دوچندان کرد. یک سیستم ممکن بود در تشخیص ارقام دستنویسِ جداگانه عملکرد خوبی داشته باشد، اما در مواجهه با دستخطهای متصل یا فرمهای ناآشنا دچار مشکل شود. پیشرفت در یک وظیفه تشخیص، بدون حل خودکار سایر انواع اسناد، همچنان ارزشمند بود.
مجموعههای دیجیتال بزرگ، OCR را به ابزاری برای اکتشاف تبدیل میکنند
پروژههای دیجیتالسازی، نقش OCR را از استفاده مجدد از یک صفحه به کشف اطلاعات در کل مجموعهها گسترش دادند. کتابخانهها و آرشیوها توانستند تصاویر روزنامهها، کتابها و اسناد را حفظ کرده و متنهای تشخیصدادهشده آنها را نمایهسازی کنند. کتابخانه کنگره در مارس 2007 پروژه «Chronicling America» را راهاندازی کرد و منبعی قابلجستجو از روزنامههای تاریخی را در اختیار محققان قرار داد.
این موضوع نحوه تعامل افراد با آرشیو را تغییر داد. یک نام، مکان یا عبارت میتوانست مستقیماً به صفحهای مرتبط منجر شود، بدون اینکه نیاز باشد خواننده تکتک شمارهها را بررسی کند. OCR به بخشی از یک سیستم بزرگتر شامل اسکن، فراداده، نمایهسازی و بازیابی تبدیل شد. مفید بودن آن دیگر تنها با میزان شباهت سند خروجی به منبع اصلی سنجیده نمیشد.
مواد تاریخی همچنین ضعفهای پایدار را آشکار کردند: کاغذهای آسیبدیده، فونتهای قدیمی، فاصلهگذاریهای نامنظم و ستونهای پیچیده. خطاهای تشخیص میتوانستند یک نتیجه جستجوی مرتبط را پنهان کنند یا منجر به تطبیقهای گمراهکننده شوند. نگهداری صفحه اصلی در کنار متن تولیدشده توسط ماشین، به خوانندگان اجازه میداد اکتشافات را تأیید کنند و بهبود تشخیص را به راهی برای غنیسازی مجموعههای دیجیتال موجود بدون نیاز به اسکن مجدد تکتک موارد تبدیل کرد.
خواندن توالیهای کامل بدون جدا کردن تکتک حروف
یک مشکل دیرینه در تشخیص دستخط، تعیین محل پایان یک حرف و شروع حرف بعدی بود. ضربات متصل و حروف همپوشان، فرآیند سختگیرانه «برش و سپس طبقهبندی» را شکننده میکرد. روشهای توالی آماری، از جمله مدلهای مخفی مارکوف، قبلاً به این مشکل پرداخته بودند. شبکههای عصبی بازگشتی راه دیگری برای استفاده از اطلاعات همسایه هنگام تفسیر یک خط ارائه دادند. شبکههای حافظه طولانی کوتاهمدت (LSTM)، که نوعی شبکه بازگشتی هستند، به حفظ زمینه در طول یک توالی کمک کردند، به جای اینکه هر منطقه کوچک را بهطور مستقل قضاوت کنند.
طبقهبندی زمانی اتصالگرا (CTC) که در 2006 معرفی شد، روش آموزشی برای تطبیق توالیهای ورودی با برچسبهای متنی بدون نیاز به مشخص کردن موقعیت هر حرف از قبل فراهم کرد. مقاله اصلی به ارزیابی گفتار پرداخت، در حالی که کارهای بعدی این رویکرد را در دستخط به کار بردند. یک مقاله 2009، آموزش توالی را با شبکههای بازگشتی ترکیب کرد که از زمینه هر دو جهت برای تشخیص خطوط دستنویسِ بدون محدودیت استفاده میکردند.
این امر وابستگی به بخشبندی کامل حرفبهحرف را کاهش داد و به کاربردیتر شدن تشخیص در سطح خط کمک کرد. این کار تمام مراحل آمادهسازی را حذف نکرد: سیستم همچنان ممکن بود نیاز به مکانیابی متن، شناسایی خطوط و مدیریت جهتگیری صفحه داشته باشد. تغییر مهم این بود که تشخیص میتوانست به جای دریافت مرزهای هر حرف از قبل، تراز بین یک توالی تصویر و متن آن را یاد بگیرد.
یادگیری عمیق، OCR را فراتر از اسکنرهای تخت میبرد
متنهای عکاسیشده دوباره مشکل را گسترش دادند. رسید روی میز، تابلوی مغازه یا صفحهای که با زاویه گرفته شده، ممکن است حاوی سایه، اعوجاج پرسپکتیو و پسزمینه مزاحم باشد. پیش از تشخیص کلمات، سیستم باید آنها را پیدا میکرد. بنابراین، تشخیص متن و شناسایی متن به وظایف تحقیقاتی عمیقاً مرتبطی تبدیل شدند که کاربرد عملی در خواندن و ترجمه مبتنی بر دوربین داشتند.
یادگیری عمیق هر دو مرحله را بهبود بخشید. یک مقاله 2015 در زمینه متن در صحنه، ویژگیهای تصویری کانولوشنی، پردازش توالی بازگشتی و رونویسی را در یک سیستم تشخیص قابل آموزش ترکیب کرد. به جای برخورد با استخراج ویژگی و خواندن به عنوان اجزای جداگانه و دستساز، محققان توانستند آنها را با هم بهینهسازی کنند. این رویکرد همچنین کلمات با طولهای مختلف را بدون نیاز به جداسازی هر حرف مدیریت میکرد.
بنچمارکها بهطور فزایندهای شرایط ثبتِ کنترلنشده را منعکس میکردند. مسابقه خواندن مقاوم ICDAR در 2015، متنهای اتفاقی در صحنه را اضافه کرد و ارزیابی را فراتر از تصاویری که عمداً حول کلمات خوانا قاببندی شده بودند، گسترش داد. این امر سیستمهایی را تشویق کرد که میتوانستند با متونی که افراد در عکسهای روزمره با آنها مواجه میشوند، کنار بیایند. همچنین مشخص شد که عملکرد روی اسناد اسکنشده تمیز، تواناییهای یک سیستم خواندن را در دنیای بصری وسیعتر بهطور کامل توصیف نمیکند.
دادههای آموزشی مصنوعی و بنچمارکهای چندزبانه، پوشش را گسترش میدهند
روشهای یادگیری بهتر به نمونههای متنوعتری نیاز داشتند. تصاویر آموزشی مصنوعی به محققان اجازه داد تا متنهایی با فونتها، اندازهها، رنگها و پسزمینههای مختلف تولید کنند، بدون اینکه نیاز باشد هر عکس جدید را بهصورت دستی برچسبگذاری کنند. تحقیقات آکسفورد که در 2016 منتشر شد، متنهای مصنوعی را با در نظر گرفتن هندسه آنها در صحنههای واقعی قرار داد و مقادیر زیادی از مواد آموزشی برای تشخیص متن فراهم کرد. نمونههای تولیدشده با آسانتر کردن تولید تغییرات خاص در مقیاس بزرگ، مکمل تصاویر واقعی بودند.
ارزیابی چندزبانه بهطور موازی گسترش یافت. چالش چندزبانه ICDAR در 2017 شامل نه زبان بود که شش خط نوشتاری را نمایندگی میکردند؛ جانشین آن در 2019 یک زبان دیگر و یک وظیفه تشخیص سرتاسری (end-to-end) اضافه کرد. این بنچمارکها خطوط نوشتاری ترکیبی، جهتگیریهای مختلف و طیف وسیعتری از سیستمهای نوشتاری را به یک محیط ارزیابی مشترک آوردند.
درس کلی این بود که پشتیبانی زبانی شامل چیزی فراتر از افزودن حروف به یک الفبا است. سیستمها به نمونههای آموزشی مناسب و روشهایی نیاز داشتند که بتوانند با ساختارهای مختلف حروف، نوشتههای متصل و جهتهای خواندن متفاوت کنار بیایند. مجموعهدادههای مشترک، اندازهگیری چنین تفاوتهایی را آسانتر کرد و در عین حال شکافهای عملکردی بین زبانهای با بازنمایی خوب و مطالب کمتر آشنا را آشکار ساخت.
یادگیری مبتنی بر توجه و آگاه از طرحبندی، کلمات را با ساختار صفحه مرتبط میکند
معماری ترنسفورمر که در 2017 برای وظایف زبانی معرفی شد، روشی قدرتمند برای مدلسازی روابط در یک توالی از طریق «توجه» (Attention) ارائه داد. اهمیت آن برای OCR از طریق کاربردهای بعدی در تشخیص متن و تحلیل اسناد توسعه یافت. توجه به سیستم اجازه داد تا هنگام تولید نتیجه، بخشهای مرتبط ورودی خود را وزندهی کند و رویکرد دیگری را در کنار شبکههای کانولوشنی و بازگشتی اضافه کرد.
تحقیقات اسناد فراتر از یک رونویسی ساده را هدف قرار داده بود. مطالعهای که در دسامبر 2019 ارائه و در 2020 منتشر شد، متن شناساییشده را با موقعیت آن در صفحه در طول پیشآموزش ترکیب کرد و سپس هنگام تطبیق سیستم با وظایف خاص اسناد، ویژگیهای بصری را نیز در نظر گرفت. مکان اهمیت داشت زیرا کلمات یکسان میتوانستند نقشهای متفاوتی در یک عنوان، بلوک آدرس یا ردیف یک فرم ایفا کنند.
این امر به پیوند دادن شناسایی با وظایفی مانند طبقهبندی اسناد و استخراج اطلاعات کمک کرد. خواندن یک عدد و شناسایی آن به عنوان مجموع فاکتور، عملیاتی مرتبط اما متمایز هستند؛ ساختار صفحه سرنخهایی برای دومی فراهم میکند. روشهای آگاه از طرحبندی، OCR را غیرضروری نکردند. آنها راههایی برای استفاده از خروجی آن در کنار شواهد بصری پیرامونی ارائه دادند و پردازش اسناد را به سمت روابط بین عناصر به جای یک جریان واحد از کلمات سوق دادند.
ترنسفورمرها متن را میخوانند و نتایج اسناد را مستقیماً تولید میکنند
تا 2021، محققان در حال اعمال ترنسفورمرهای تصویر و متن پیشآموزشدیده مستقیماً بر روی شناسایی بودند. یک رویکرد منتشرشده، یک رمزگذار تصویر را با یک رمزگشای متن جفت کرد و متنهای چاپی، دستنویس و صحنهای را ارزیابی نمود. پیشآموزش روی مجموعههای بزرگ، که با آموزش برای یک وظیفه خاصتر دنبال شد، مسیر دیگری برای یادگیری الگوهای بصری و تولید توالیهای منسجم کاراکتر یا کلمه ارائه داد.
خط دیگری از کار، تولید نتایج ساختاریافته اسناد از تصاویر را بدون اجرای مستقل یک موتور OCR مرسوم بررسی کرد. تحقیقات معرفیشده در اواخر 2021 و بازبینیشده در 2022، این رویکرد را برای درک اسناد نشان داد. اصطلاح OCR-free در آن کار، به معنای عدم وجود یک مرحله OCR جداگانه است؛ سیستم همچنان باید اطلاعات نوشتاری مربوطه را از تصویر استخراج کند.
این پیشرفتها معماریهای موجود را گسترش دادند. یک سیستم پردازش ممکن است متن را شناسایی کرده و سپس آن را تحلیل کند، یا مدلی را برای تولید مستقیم نتیجه درخواستی آموزش دهد. هیچکدام از این چیدمانها تضمینکننده خروجی دقیق در هر صفحه نیستند. این انتخاب تغییر میدهد که خطاها کجا میتوانند وارد شوند، نتایج چگونه بررسی میشوند و شواهد میانی، مانند کلمات شناساییشده و موقعیت آنها، با چه سهولتی قابل نگهداری هستند.
سیستمهای چندوجهی خواندن اسناد را گسترش داده و آزمونهای جدیدی ایجاد میکنند
سیستمهای چندوجهی اخیر، پردازش تصویر و تولید زبان را ترکیب میکنند و به متن سند اجازه میدهند در تعاملات گستردهتری شرکت کند. بسته به سیستم و وظیفه، کاربر ممکن است درخواست رونویسی کند، سوالی درباره یک صفحه بپرسد یا فیلدهای خاصی را استخراج نماید. شناسایی به طور فزایندهای در یک گردش کار بزرگتر اسناد قرار میگیرد، در حالی که OCR اختصاصی زمانی که نیاز اصلی یک رونویسی دقیق و قابل بررسی باشد، همچنان مفید باقی میماند.
ارزیابی نیز به همین ترتیب گسترش یافته است. OCRBench که در 2023 معرفی شد، شناسایی را در کنار سوالات اسناد، استخراج اطلاعات و عبارات ریاضی دستنویس در نظر گرفت. جانشین آن که در پایان 2024 منتشر و در 2025 بازبینی شد، مجموعه وسیعتری از متنهای بصری و وظایف استدلالی را بررسی کرد. محدودیتهای گزارششده شامل جزئیات دقیق، طرحبندی، عناصر پیچیده و متنهای کمتر آشنا بود که نشان میدهد چرا یک ادعای دقت واحد نمیتواند تمام نیازهای خواندن اسناد را پوشش دهد.
این قابلیت گستردهتر، هدف خروجی را نیز مهمتر میکند. یک توضیح مفید ممکن است بازنویسی کند، در حالی که یک رونویسی وفادار باید آنچه صفحه واقعاً میگوید را حفظ کند. کلمات روان نمیتوانند ثابت کنند که یک نام، مبلغ یا نقلقول به درستی خوانده شده است. سیستمها به ارزیابی متناسب با وظیفه نیاز دارند، خواه این به معنای دقت کاراکتر، ترتیب خواندن، ساختار جدول یا صحت یک فیلد استخراجشده باشد.
در طول قرن، جهت پیشرفت به سمت ورودیهای کمتر کنترلشده و خروجیهای مفیدتر بوده است: از کاراکترهای تجویز شده تا چاپ معمولی، دستنویس، عکسها و اسناد پیچیده. رویکردهای جدید همچنان به رویکردهای تثبیتشده میپیوندند. چالش اصلی همچنان قابل تشخیص است: تبدیل شواهد بصری به اطلاعات قابل اعتماد در حالی که جزئیات مهم حفظ شوند.
