خطاها میتوانند قبل از تشخیص کلمه شروع شوند
تبدیل یک صفحه به متن مفید شامل چندین تصمیم است. یک سیستم باید نواحی مربوطه را شناسایی، علائم داخل آنها را تفسیر و نتیجه را در یک توالی مناسب مرتب کند. این کارها ممکن است توسط اجزای جداگانه انجام شوند یا در یک سیستم یادگیرنده ترکیب شوند، اما همچنان الزامات متفاوتی باقی میمانند. شکست در اوایل فرآیند میتواند بر هر آنچه در ادامه میآید تأثیر بگذارد.
یک مقاله دو ستونی با یک یادداشت دستنویس در حاشیه را در نظر بگیرید. کلمات چاپی ممکن است به راحتی قابل تشخیص باشند، اما یادداشت ممکن است به اشتباه بخشی از متن اصلی تلقی شود و ستونها ممکن است با هم ترکیب شوند. بررسی املا این مشکل را حل نمیکند. برعکس، یک پاراگراف با ترتیب کامل ممکن است همچنان حاوی یک نام یا تاریخ اشتباه خواندهشده باشد.
تمایز مفید بین شواهد گمشده، تشخیص اشتباه و ساختار ازدسترفته است. تشخیص دقیقتر حروف نمیتواند ناحیهای را که هرگز گنجانده نشده است بازیابی کند، و یک طرحبندی تمیزتر نمیتواند مشخص کند که کدامیک از دو کاراکتر مبهم واقعاً نوشته شده است.
کاراکترهای کوچک و ضبط ضعیف، شواهد موجود را محدود میکنند
تشخیص به تفاوتهای قابل مشاهده بین کاراکترها بستگی دارد. تاری میتواند شکاف یک حرف e را ببندد، ضربات مجاور را ادغام کند یا تمایز بین ویرگول و نقطه را از بین ببرد. متنهای کوچک ممکن است پیکسلهای بسیار کمی برای حفظ این تفاوتها داشته باشند. فشردهسازی قوی میتواند الگوهای بلوکی و لرزش در لبهها ایجاد کند، که باعث میشود فایل در اندازه معمولی خوانا به نظر برسد اما جزئیاتی را که یک تشخیصدهنده نیاز دارد، از بین ببرد.
بنابراین ابعاد تصویر و اندازه فایل معیارهای ناقصی برای کیفیت هستند. یک عکس بزرگ میتواند حاوی یک صفحه کوچک و دور باشد؛ یک اسکن با وضوح بالا همچنان میتواند خارج از فوکوس باشد. تغییر برچسب DPI یا بزرگنمایی یک تصویر موجود، اندازهگیری جدیدی از حروفچینی اصلی اضافه نمیکند. راهنمای ضبط از پروژه دیجیتالیسازی IMPACT بر این اساس متن معمولی را از چاپهای بسیار کوچک که نیاز به جزئیات بیشتری دارند، متمایز میکند.
در صورت در دسترس بودن نسخه اصلی، ضبط بهتر میتواند این عدم قطعیت را کاهش دهد. با این حال، وقتی کلمهای توسط تابش خیرهکننده پنهان شده، برش خورده یا از نظر فیزیکی گم شده است، هیچ مدرک قابل مشاهدهای برای آن بخش از متن وجود ندارد. یک بهبود ممکن است شکل قابل قبولی را پیشنهاد دهد، اما نمیتواند کلمات گمشده را تأیید کند.
چرخش، پرسپکتیو و انحنای صفحه مشکلات متفاوتی ایجاد میکنند
صفحهای که با زاویه عکسبرداری شده، مشکلی فراتر از چرخش ایجاد میکند. پرسپکتیو میتواند یک طرف صفحه را باریکتر از طرف دیگر نشان دهد، در حالی که سطح منحنی کتاب میتواند خطوط نزدیک به صحافی را خم کند. یک صفحه کج، یک اسکن کمی مایل و یک کتاب بازشده و تابدار نیاز به اصلاحات هندسی متفاوتی دارند. چرخاندن ساده هر سه، بهبود یکسانی ایجاد نخواهد کرد.
این اعوجاجها میتوانند در تشخیص خطوط و جداسازی کلمات مجاور تداخل ایجاد کنند. در نزدیکی صحافی، کاراکترها ممکن است به هم فشرده شوند یا تا حدی در سایه پنهان شوند. تحقیقات در مورد صاف کردن اسناد، بازیابی نمای تخت صفحه را به عنوان یک وظیفه مستقل در نظر میگیرد، زیرا شکل صفحه بر تشخیصهای بعدی تأثیر میگذارد.
اصلاح هندسی نیز محدودیتهایی دارد. تراز بهتر میتواند تفسیر حروف موجود را آسانتر کند، اما نمونهبرداری مکرر میتواند جزئیات کوچک را نرم کند و صاف کردن نمیتواند متنی را که هرگز ضبط نشده است، آشکار کند. هدف، نمایش قابل استفاده از شواهد است، نه صرفاً صفحهای که مستطیل به نظر میرسد.
جوهر کمرنگ و علائم پسزمینه با متن رقابت میکنند
هر علامت تیرهای متعلق به یک کاراکتر نیست. بافت کاغذ، لکهها، خطوط کشیده شده، مهرها و چاپهای قابل مشاهده از پشت صفحه میتوانند شبیه متن باشند یا از میان آن عبور کنند. در سوی دیگر، مداد کمرنگ، جوهر محو شده و علائم نگارشی روشن ممکن است به سختی از پسزمینه قابل تشخیص باشند. یک صفحه میتواند حاوی هر دو نوع مشکل باشد.
پاکسازی تصویر شامل بدهبستانهایی است. تبدیل یک صفحه به سیاه و سفید مستلزم تصمیمگیری در مورد این است که کدام سایهها متعلق به علائم پیشزمینه و کدام متعلق به پسزمینه هستند. آستانهای که بافت کمرنگ کاغذ را حذف میکند، ممکن است یک ممیز اعشار را نیز پاک کند. حذف نویز میتواند یک لهجه کوچک را حذف کند، در حالی که تیز کردن میتواند لبههای ناخواسته را تقویت کند. بنابراین گردشهای کاری OCR، بهبود، باینریسازی و حذف نویز را به عنوان عملیاتهای متمایز در نظر میگیرند، نه یک تنظیم پاکسازی جهانی.
علائم همپوشانی نیاز به مراقبت ویژهای دارند. یک مهر ممکن است حاوی اطلاعاتی باشد که ارزش حفظ کردن دارد، حتی زمانی که از روی یک پاراگراف عبور میکند، و یک امضا ممکن است بدون اینکه قابل رونویسی باشد، معنادار باشد. حذف بیرویه یک ناحیه تداخلی میتواند بخشی از خود سند را حذف کند. یک تصویر که از نظر بصری تمیزتر است، لزوماً تصویر وفادارتری نیست.
تایپوگرافی ناآشنا، تفسیر چاپ واضح را دشوار میکند
یک تصویر میتواند واضح باشد در حالی که حروف آن برای تشخیصدهنده ناآشنا باقی بماند. فونتهای تزئینی، تایپ فشرده، لیگاتورها و اشکال غیرمعمول کاراکترها، الگوهایی را که باید شناسایی شوند تغییر میدهند. یک لیگاتور میتواند آنچه را که در غیر این صورت حروف جداگانهای بودند، به هم متصل کند؛ یک شکل قدیمی از یک حرف ممکن است شبیه یک کاراکتر مدرن متفاوت باشد. حروف کوچک، بالانویسها و علائم نگارشی با فاصله نزدیک، تمایزات بیشتری را ایجاد میکنند.
اسناد تاریخی اغلب با دشواریهای متعددی همراه هستند. فونتها در چاپگرها و دورههای زمانی مختلف متفاوتاند، املا ممکن است با کاربرد امروزی تفاوت داشته باشد و کاغذ یا کیفیت چاپ ممکن است آسیب دیده باشد. پژوهشها در زمینه OCR تاریخی، تایپوگرافی و چیدمانهای پیچیده را از چالشهای اصلی میدانند و از جریانهای کاری استفاده میکنند که امکان اصلاح در مراحل مختلف را فراهم میسازد. بهبود کنتراست تصویر به تنهایی نمیتواند تمام حروف ناآشنا را اصلاح کند.
یک انتخاب ویرایشی نیز وجود دارد: رونویسی از صفحه و مدرنسازی زبان آن، دو کار متفاوت هستند. جایگزینی خودکار یک املای غیرمعمول با یک کلمه آشنا ممکن است خواندن متن را آسانتر کند، اما وفاداری آن به منبع را کاهش میدهد. نامهای تاریخی، اختصارات و نقلقولها باید بر اساس قراردادهای خودِ سند ارزیابی شوند.
دستخط در میان نویسندگان مختلف و حتی در یک صفحه واحد متفاوت است
دستخط مجموعه واحد و ثابتی از شکل حروف ندارد. نویسندگان حروف را به هم میچسبانند، شیب آنها را تغییر میدهند، کلمات را مخفف میکنند و فاصلههای نامنظمی میگذارند. یک کلمه که با عجله نوشته شده ممکن است با همان کلمه که چند خط بالاتر با دقت نوشته شده، متفاوت به نظر برسد. ضربات متصل قلم نیز تصمیمگیری درباره اینکه یک کاراکتر کجا تمام و کاراکتر بعدی کجا شروع میشود را دشوار میکند.
تشخیص مبتنی بر توالی میتواند از حروف و کلمات مجاور برای تفسیر یک خط استفاده کند، اما بافتار (زمینه) ابهام را از بین نمیبرد. یک نام خانوادگی ناآشنا، یک کد یا یک عدد منفرد ممکن است کمک زبانی چندانی نکند. یادداشتهای حاشیهای، متنهای خطخورده و اضافات بالای خط، پرسشهای جداگانهای درباره نحوه نمایش تغییرات نویسنده ایجاد میکنند. اینها چالشهای مربوط به تشخیص و سیاست رونویسی هستند.
تمایز بین تشخیص یک تصویر و ثبت حرکت زنده قلم نیز اهمیت دارد. یک یادداشت اسکنشده شامل علائم نهایی قابل مشاهده است، اما ترتیب، سرعت یا جهت آنها را در بر ندارد. پژوهشهای دستخط، این تصاویر آفلاین را از ورودیهای آنلاین قلم متمایز میکنند. نباید فرض کرد که موفقیت در ثبت حرکات قلم یا کاراکترهای بهخوبی جدا شده، بدون تغییر به عکس یک صفحه دستنویس کامل منتقل میشود.
زبانها، خطها و جهتهای خواندن، ابهامهای جداگانهای ایجاد میکنند
تنظیمات زبان، بافتار مفیدی را فراهم میکند، اما زبان و خط یکی نیستند. چندین زبان میتوانند در یک خط مشترک باشند در حالی که از الگوهای املایی متفاوت یا حروف اضافی استفاده میکنند. یک سند ممکن است خطوط مختلف را در یک جمله ترکیب کند، مانند آدرسی که شامل نام خیابان به زبان محلی و یک شناسه لاتین است. تشخیص چندزبانه باید علاوه بر کاراکترهای فردی، با این تغییرات نیز کنار بیاید.
زبان تشخیص، توصیفکننده متنی است که خوانده میشود، نه زبان رابط کاربری وبسایت. همچنین، وجود یک گزینه زبانی به معنای دقت یکسان برای هر فونت، سبک نوشتاری یا شرایط ثبت تصویر نیست. معیارهای چندزبانه، خطوط مختلف و صحنههای ترکیبی را دقیقاً به این دلیل بررسی میکنند که عملکرد باید در مواد متنوع آزمایش شود.
برای زبانهای عربی، فارسی و سایر زبانهایی که از راست به چپ نوشته میشوند، ترتیب نمایش لایه دیگری از پیچیدگی را میافزاید. یونیکد، ترتیب منطقی کاراکترهای ذخیرهشده را از چیدمان بصری آنها متمایز میکند. اعداد، علائم نگارشی و کلمات لاتین میتوانند از قوانین جهتگیری متفاوتی در یک خط پیروی کنند. بنابراین، بههمریختگی ظاهری ممکن است مربوط به تشخیص، ذخیرهسازی متن یا نمایش باشد. معکوس کردن دستی کل رشته میتواند به رونویسی که ترتیب کاراکترهای زیرین آن از قبل درست بوده، آسیب برساند.
کلمات صحیح ممکن است همچنان در ترتیب خواندن اشتباه ظاهر شوند
چیدمان سند، روابطی را بیان میکند که یک رشته ساده از کاراکترها بهطور خودکار آن را ثبت نمیکند. ستونها، سرتیترها، زیرنویسها، پاورقیها و حاشیهها هر کدام نقشی دارند. یک سیستم تشخیص ممکن است کلمات آنها را بهدرستی بخواند اما آنها را در توالی نادرستی ترکیب کند. جملهای که به ستون مجاور میپرد، یک خطای ساختاری است، حتی اگر تمام کلمات بهدرستی هجی شده باشند.
پژوهشهای چیدمان همچنین نشان میدهند که چرا انواع سندهای آشنا، آزمون کاملی نیستند. سیستمی که حول مقالات علمی توسعه یافته ممکن است با چیدمانهای متفاوتی در دفترچههای راهنما، فرمها یا گزارشها مواجه شود. نادیده گرفتن یک زیرنویس کوچک یا در نظر گرفتن یک سرتیتر به عنوان متن بدنه میتواند بر مفید بودن کل نتیجه تأثیر بگذارد. یافتن تمام نواحی مرتبط و مرتبسازی آنها، هر دو بخشی از ارزیابی تبدیل سند هستند.
این مشکلات برای استفاده مجدد و دسترسیپذیری اهمیت دارند. یک صفحه ممکن است درست به نظر برسد در حالی که متن کپیشده یا خروجی صوتی از ترتیب نامناسبی پیروی میکند. راهنمای PDF سازمان W3C توضیح میدهد که چگونه ترتیب خواندن منطقی از دسترسیپذیری پشتیبانی میکند. متن تشخیصدادهشده مفید است، اما تولید آن به تنهایی ثابت نمیکند که سرتیترها، ترتیب خواندن و سایر نیازهای دسترسیپذیری سند برطرف شدهاند.
جدولها، فرمها و فرمولها به روابط بین علائم وابسته هستند
معنای یک جدول به این بستگی دارد که کدام مقدار متعلق به کدام سطر و ستون است. سلولهای ادغامشده، سرتیترهای تکراری، سلولهای خالی و جدولهایی که در صفحات ادامه مییابند، این رابطه را پیچیده میکنند. خواندن تمام اعداد قابل مشاهده کافی نیست اگر یک مقدار به سرتیتر اشتباه اختصاص داده شود. پژوهشهای استخراج جدول، یافتن جدول، بازیابی ساختار آن و شناسایی نقش سلولهای آن را از هم تفکیک میکنند.
فرمها مشکل مشابهی ایجاد میکنند. یک برچسب و مقدار آن ممکن است با فضای خالی، یک خط یا یک یادداشت میانی از هم جدا شوند. یک چکباکس در نزدیکی ممکن است اطلاعاتی را حمل کند که یک رونویسی صرفاً متنی آن را بیان نمیکند. برای مثال، استخراج هر دو گزینه «تأیید شده» و «رد شده» بدون ثبت اینکه کدام کادر علامتگذاری شده است، بخش تعیینکننده فرم را از بین میبرد، حتی اگر هر دو کلمه بهدرستی تشخیص داده شده باشند.
اعداد و فرمولها نیز خطاهای کوچک را بزرگنمایی میکنند. حذف ممیز در 12.5 مقدار را تغییر میدهد؛ اشتباه گرفتن علامت منفی با خط تیره میتواند یک عبارت را تغییر دهد. کسرها، توانها و زیرنویسها علاوه بر هویت کاراکتر، به موقعیت نیز وابسته هستند. ساختار دوبعدی یک فرمول به نمایش مناسب نیاز دارد و بازسازی جدول و رونویسی ریاضی نیاز به ارزیابی فراتر از املای کلمات معمولی دارند.
خروجی روان میتواند کاستیها و اصلاحات تأییدنشده را پنهان کند
بافتار زبانی به سیستم تشخیص کمک میکند تا بین خوانشهای محتمل انتخاب کند، اما محتمل بودن و وفاداری، اهداف متفاوتی هستند. یک سیستم ممکن است یک نام ناآشنا را با یک کلمه رایج جایگزین کند، یک غلط املایی را اصلاح کند یا عبارتی را ارائه دهد که با جمله جور در میآید. نتیجه ممکن است طبیعی به نظر برسد در حالی که از صفحه اصلی فاصله گرفته است. این موضوع بهویژه زمانی که وظیفه، رونویسی است نه ویرایش، اهمیت دارد.
یک معیار دستخط 2026 خطاهای نویسنده، زبانهای متعدد و عبارات پیچیده را بررسی کرد و اصلاحات بصری تأییدنشدهای را در چندین سیستم مولد گزارش داد. این یافته نشاندهنده یک حالت شکست است، نه قاعدهای که همه سیستمها رفتار یکسانی دارند. بهطور کلیتر، یک پاراگراف خوشساخت، دلیلی بر این نیست که تمام کلمات موجود بودهاند یا تمام خطوط مورد نظر گنجانده شدهاند.
خطاها همچنین میتوانند از پردازشهای قبلی ناشی شوند. یک PDF اسکنشده ممکن است از قبل حاوی یک لایه متنی OCR ناقص باشد، بنابراین متن قابل انتخاب همچنان میتواند با صفحه قابل مشاهده مغایرت داشته باشد. اجرای دوباره تشخیص، مقایسه دیگری فراهم میکند، اما هر دو اجرا ممکن است مرتکب همان اشتباه شوند. توافق بین خروجیها جایگزین تصویر منبع نمیشود، بهویژه در مواردی که یک کاراکتر یا بخش همچنان مبهم باقی میماند.
دقت به مواد و وظیفهای که اندازهگیری میشود بستگی دارد
یک عدد مربوط به دقت، تنها با یک آزمون تعریفشده معنادار است. نتایج به اسناد، رونویسی مرجع و نحوه برخورد با فاصلهها، علائم نگارشی و سایر تفاوتها بستگی دارد. نمونهای از پاراگرافهای چاپی واضح، عملکرد سیستم را در فرمهای دستنویس یا یک روزنامه آسیبدیده ثابت نمیکند. ارزیابی معرف شامل صفحات دشوار و چیدمانهای غیرمعمولی است که برای کار مورد نظر اهمیت دارند.
نرخ خطای نویسه، جایگزینیها، حذفیات و اضافات در سطح نویسه را نسبت به طول متن اندازهگیری میکند؛ نرخ خطای کلمه نیز مقایسهای مشابه را برای کلمات اعمال میکند. راهنمای ارزیابی OCR-D این معیارها را جدا از طرحبندی و ترتیب خواندن در نظر میگیرد. این معیارها به پرسشهای مفیدی پاسخ میدهند، اما نرخ خطای کلی پایین همچنان میتواند یک شماره حساب نادرست یا یک نفیِ جاافتاده که معنای جمله را تغییر میدهد، پنهان کند.
بنابراین، ارزیابی باید علاوه بر امتیازات کلی، شامل کامل بودن، ساختار و جزئیات مهم نیز باشد. جستجوی آرشیو، نقلقول و جدولی که برای محاسبات در نظر گرفته شده، نیازهای متفاوتی دارند. علامتگذاری یک بخش ناخوانا، آموزندهتر از حدس زدنِ روانترین گزینه است و حفظ پیوند به منبع، امکان اصلاحات بعدی را در صورت دسترسی به شواهد بهتر یا بازبینی فراهم میکند.
الگوی یک خطا به علت احتمالی آن اشاره دارد
علل مختلف میتوانند علائم ظاهری یکسانی ایجاد کنند، بنابراین تشخیص، راهی برای محدود کردن احتمالات است، نه یک تضمین. سردرگمی مکرر بین حروف مشابه، نیازمند بررسی متفاوتی نسبت به کلماتِ درستاملایی است که در ترتیب اشتباه ظاهر میشوند. مثالهای زیر، علائم رایج را با اطلاعاتی که ممکن است از دست رفته باشند، مرتبط میکنند.
هنگامی که علت شکست درک شد، پاسخ میتواند متمرکزتر باشد: بهدست آوردن منبعی واضحتر، اصلاح هندسه، بررسی تفسیر یک ناحیه یا ترمیم متن نهایی. راهنمای جداگانه «بهبود نتایج OCR» گردش کار آمادهسازی و بازبینی را ارائه میدهد. هدف، حفظ اطلاعات سند است، نه صرفاً تولید متنی که تمیز به نظر برسد.
| نشانه ظاهری | علت احتمالی زیربنایی | اطلاعات در معرض خطر |
|---|---|---|
| اشتباه گرفتن مکرر حروف مشابه | جزئیات ناکافی یا اشکال ناآشنای نویسهها | املای دقیق، نامها و شناسهها |
| محو شدن علائم کمرنگ یا علائم نگارشی | کنتراست پایین یا فیلتر کردن بیش از حد | اِعراب، ممیزها و حاشیهنویسیهای کوچک |
| کلمات درست در ترتیبی غیرمنتظره | ستونهای ادغامشده یا ترتیب نادرست نواحی | معنای جمله و ساختار پاراگراف |
| مقادیر در زیر سرستونهای اشتباه ظاهر میشوند | از دست رفتن روابط سطر، ستون یا برچسب | معنای اعدادی که در غیر این صورت درست هستند |
| متن با جهتگیری مختلط، درهمریخته به نظر میرسد | تشخیص، ترتیب منطقی یا رفتار نمایش | ترتیب کلمات، علائم نگارشی و شناسهها |
| عبارات غیرمعمول، آشناتر میشوند | جایگزینی یا بازنویسی مبتنی بر متن (Context-driven) | نامها، املا و نقلقولهای وفادار به منبع |
| یک یادداشت یا پاراگراف کامل غایب است | یک ناحیه برش خورده، نادیده گرفته شده یا حذف شده است | کامل بودن متن استخراجشده |
