অক্ষর শনাক্ত হওয়ার আগেই ত্রুটি শুরু হতে পারে
একটি পৃষ্ঠাকে দরকারী পাঠ্যে রূপান্তর করার জন্য বেশ কয়েকটি সিদ্ধান্তের প্রয়োজন হয়। একটি সিস্টেমকে অবশ্যই প্রাসঙ্গিক অঞ্চলগুলো শনাক্ত করতে হবে, সেগুলোর ভেতরের চিহ্নগুলো ব্যাখ্যা করতে হবে এবং ফলাফলটিকে একটি উপযুক্ত ক্রমে সাজাতে হবে। এই কাজগুলো আলাদা আলাদা উপাদান দ্বারা পরিচালিত হতে পারে বা একটি লার্নড সিস্টেমে একত্রিত হতে পারে, তবে এগুলো ভিন্ন ভিন্ন প্রয়োজনীয়তা হিসেবেই থাকে। প্রক্রিয়ার শুরুতে একটি ব্যর্থতা পরবর্তী সবকিছুকে প্রভাবিত করতে পারে।
মার্জিনে হাতে লেখা নোটসহ একটি দুই-কলামের নিবন্ধ বিবেচনা করুন। মুদ্রিত শব্দগুলো শনাক্ত করা সহজ হতে পারে, তবুও নোটটিকে মূল পাঠ্যের অংশ হিসেবে ভুল করা হতে পারে এবং কলামগুলো একে অপরের সাথে মিশে যেতে পারে। একটি বানান পরীক্ষা সেই সমস্যার সমাধান করবে না। বিপরীতভাবে, একটি নিখুঁতভাবে সাজানো অনুচ্ছেদেও ভুলভাবে পড়া নাম বা তারিখ থাকতে পারে।
দরকারী পার্থক্যটি হলো অনুপস্থিত প্রমাণ, ভুল শনাক্তকরণ এবং হারিয়ে যাওয়া গঠনের মধ্যে। আরও নির্ভুল অক্ষর শনাক্তকরণ এমন একটি অঞ্চল পুনরুদ্ধার করতে পারে না যা অন্তর্ভুক্তই ছিল না, এবং একটি পরিষ্কার বিন্যাস এমন কোনো অক্ষর শনাক্ত করতে পারে না যা অস্পষ্ট ছিল।
ছোট অক্ষর এবং দুর্বল ক্যাপচার উপলব্ধ প্রমাণের সীমাবদ্ধতা তৈরি করে
শনাক্তকরণ অক্ষরের মধ্যে দৃশ্যমান পার্থক্যের ওপর নির্ভর করে। ঝাপসা ভাব 'e'-এর ফাঁক বন্ধ করে দিতে পারে, পাশাপাশি থাকা স্ট্রোকগুলোকে মিশিয়ে দিতে পারে অথবা কমা এবং ফুলস্টপের মধ্যে পার্থক্য মুছে ফেলতে পারে। ছোট পাঠ্যে সেই পার্থক্যগুলো বজায় রাখার জন্য খুব কম পিক্সেল থাকতে পারে। শক্তিশালী কম্প্রেশন প্রান্তের চারপাশে ব্লক প্যাটার্ন এবং রিং যোগ করতে পারে, যা ফাইলটিকে স্বাভাবিক আকারে পঠনযোগ্য দেখালেও শনাক্তকারীর প্রয়োজনীয় বিবরণগুলোকে ক্ষতিগ্রস্ত করে।
তাই ছবির মাত্রা এবং ফাইলের আকার গুণমানের অসম্পূর্ণ পরিমাপ। একটি বড় ফটোগ্রাফে একটি ছোট, দূরবর্তী পৃষ্ঠা থাকতে পারে; একটি উচ্চ-রেজোলিউশনের স্ক্যানও ফোকাসের বাইরে থাকতে পারে। একটি DPI লেবেল পরিবর্তন করা বা বিদ্যমান ছবি বড় করা মূল অক্ষরের নতুন পরিমাপ যোগ করে না। IMPACT ডিজিটাইজেশন প্রকল্পের ক্যাপচার নির্দেশিকা সেই অনুযায়ী সাধারণ পাঠ্যকে খুব ছোট প্রিন্ট থেকে আলাদা করে, যার জন্য আরও বিস্তারিত প্রয়োজন।
মূল নথি উপলব্ধ থাকলে একটি ভালো ক্যাপচার এই অনিশ্চয়তা কমাতে পারে। তবে যখন কোনো শব্দ আলোর প্রতিফলন, ক্রপিং বা শারীরিকভাবে অনুপস্থিত থাকার কারণে লুকানো থাকে, তখন প্রতিলিপির সেই অংশের জন্য কোনো দৃশ্যমান প্রমাণ থাকে না। একটি এনহ্যান্সমেন্ট একটি বিশ্বাসযোগ্য আকৃতির পরামর্শ দিতে পারে, কিন্তু এটি অনুপস্থিত শব্দ যাচাই করতে পারে না।
ঘূর্ণন, দৃষ্টিভঙ্গি এবং পৃষ্ঠার বক্রতা বিভিন্ন সমস্যা তৈরি করে
একটি কোণ থেকে তোলা পৃষ্ঠার ছবি কেবল ঘূর্ণনের চেয়েও বেশি সমস্যা উপস্থাপন করে। দৃষ্টিভঙ্গি পৃষ্ঠার এক পাশকে অন্য পাশের চেয়ে সংকীর্ণ করে তুলতে পারে, আর বইয়ের বাঁকানো পৃষ্ঠ লাইনগুলোকে বাইন্ডিংয়ের কাছে বাঁকিয়ে দিতে পারে। একটি আড়াআড়ি পৃষ্ঠা, সামান্য বাঁকা স্ক্যান এবং বইয়ের বাঁকানো অংশ ভিন্ন ভিন্ন জ্যামিতিক সংশোধনের দাবি রাখে। কেবল তিনটিকে ঘোরানো একই উন্নতি তৈরি করবে না।
এই বিকৃতিগুলো লাইনের শনাক্তকরণ এবং পার্শ্ববর্তী শব্দগুলোর পৃথকীকরণে বাধা দিতে পারে। বাইন্ডিংয়ের কাছে, অক্ষরগুলো একসাথে সংকুচিত হতে পারে বা আংশিকভাবে ছায়ায় ঢাকা থাকতে পারে। ডকুমেন্ট আনওয়ার্পিং নিয়ে গবেষণা একটি সমতল পৃষ্ঠার দৃশ্য পুনরুদ্ধার করাকে নিজস্ব কাজ হিসেবে বিবেচনা করে কারণ পৃষ্ঠার আকৃতি পরবর্তী শনাক্তকরণকে প্রভাবিত করে।
জ্যামিতিক সংশোধনেরও সীমাবদ্ধতা আছে। একটি ভালো অ্যালাইনমেন্ট বিদ্যমান অক্ষরগুলোকে ব্যাখ্যা করা সহজ করতে পারে, কিন্তু বারবার রিস্যাম্পলিং ছোট বিবরণগুলোকে নরম করে দিতে পারে এবং ফ্ল্যাটেনিং এমন পাঠ্য প্রকাশ করতে পারে না যা কখনোই ক্যাপচার করা হয়নি। লক্ষ্য হলো প্রমাণের একটি ব্যবহারযোগ্য উপস্থাপনা, কেবল এমন একটি পৃষ্ঠা নয় যা দেখতে আয়তাকার।
ম্লান কালি এবং পটভূমির চিহ্নগুলো পাঠ্যের সাথে প্রতিযোগিতা করে
প্রতিটি গাঢ় চিহ্ন অক্ষরের অংশ নয়। কাগজের টেক্সচার, দাগ, টানা লাইন, স্ট্যাম্প এবং উল্টো দিকে দৃশ্যমান মুদ্রণ পাঠ্যের মতো মনে হতে পারে বা সেটিকে আড়াআড়িভাবে অতিক্রম করতে পারে। অন্য প্রান্তে, হালকা পেন্সিল, বিবর্ণ কালি এবং হালকা বিরামচিহ্ন পটভূমি থেকে আলাদা করা কঠিন হতে পারে। একই পৃষ্ঠায় উভয় ধরণের সমস্যা থাকতে পারে।
ইমেজ ক্লিনআপের ক্ষেত্রে কিছু ছাড় দিতে হয়। একটি পৃষ্ঠাকে সাদা-কালোতে রূপান্তর করার জন্য সিদ্ধান্ত নিতে হয় কোন শেডগুলো সামনের চিহ্নের এবং কোনগুলো পটভূমির। যে থ্রেশহোল্ড হালকা কাগজের টেক্সচার মুছে ফেলে তা একটি দশমিক বিন্দুও মুছে ফেলতে পারে। নয়েজ রিমুভাল একটি ছোট অ্যাকসেন্ট বাতিল করতে পারে, যখন শার্পেনিং অবাঞ্ছিত প্রান্তগুলোকে শক্তিশালী করতে পারে। তাই OCR ওয়ার্কফ্লো এনহ্যান্সমেন্ট, বাইনারাইজেশন এবং ডিনয়েজিংকে একটি সর্বজনীন ক্লিনআপ সেটিংয়ের পরিবর্তে স্বতন্ত্র অপারেশন হিসেবে বিবেচনা করে।
ওভারল্যাপিং চিহ্নের বিশেষ যত্ন প্রয়োজন। একটি স্ট্যাম্পে এমন তথ্য থাকতে পারে যা অনুচ্ছেদ অতিক্রম করলেও সংরক্ষণ করা মূল্যবান, এবং একটি স্বাক্ষর নির্ভরযোগ্যভাবে প্রতিলিপিযোগ্য না হয়েও অর্থবহ হতে পারে। কোনো হস্তক্ষেপকারী অঞ্চল নির্বিচারে অপসারণ করা নথির অংশই মুছে ফেলতে পারে। একটি দৃশ্যত পরিষ্কার ছবি মানেই যে সেটি বেশি বিশ্বস্ত তা নয়।
অপরিচিত টাইপোগ্রাফি স্পষ্ট মুদ্রণ ব্যাখ্যা করা কঠিন করে তোলে
একটি ছবি তীক্ষ্ণ হতে পারে কিন্তু এর অক্ষরগুলো শনাক্তকারীর কাছে অপরিচিত থাকতে পারে। আলংকারিক ফন্ট, ঘনীভূত টাইপ, লিগেচার এবং অস্বাভাবিক অক্ষরের আকৃতি সেই প্যাটার্নগুলোকে পরিবর্তন করে যা শনাক্ত করতে হবে। একটি লিগেচার এমন কিছুকে যুক্ত করতে পারে যা অন্যথায় আলাদা অক্ষর হতো; একটি অক্ষরের পুরানো রূপ ভিন্ন আধুনিক অক্ষরের মতো মনে হতে পারে। স্মল ক্যাপস, সুপারস্ক্রিপ্ট এবং কাছাকাছি থাকা বিরামচিহ্ন অতিরিক্ত পার্থক্য তৈরি করে।
ঐতিহাসিক নথিপত্রে প্রায়শই বেশ কিছু জটিলতা থাকে। মুদ্রণযন্ত্র এবং সময়কালভেদে টাইপফেস ভিন্ন হয়, বানান আধুনিক ব্যবহারের চেয়ে আলাদা হতে পারে এবং কাগজ বা ছাপ ক্ষতিগ্রস্ত হতে পারে। ঐতিহাসিক OCR বিষয়ক গবেষণায় টাইপোগ্রাফি এবং জটিল বিন্যাসকে প্রধান চ্যালেঞ্জ হিসেবে চিহ্নিত করা হয়েছে এবং এমন কর্মপ্রবাহ ব্যবহার করা হয় যা বিভিন্ন পর্যায়ে সংশোধনের সুযোগ দেয়। শুধুমাত্র ছবির কনট্রাস্ট উন্নত করলেই প্রতিটি অপরিচিত অক্ষরের রূপ সমাধান করা যায় না।
এখানে একটি সম্পাদকীয় পছন্দও রয়েছে: পৃষ্ঠা প্রতিলিপি করা এবং এর ভাষাকে আধুনিকীকরণ করা দুটি ভিন্ন কাজ। একটি অস্বাভাবিক বানানকে স্বয়ংক্রিয়ভাবে পরিচিত শব্দ দিয়ে প্রতিস্থাপন করলে অনুচ্ছেদটি পড়া সহজ হতে পারে, তবে তা মূল উৎসের প্রতি কম বিশ্বস্ত হয়ে ওঠে। ঐতিহাসিক নাম, সংক্ষিপ্ত রূপ এবং উদ্ধৃতিগুলোকে নথির নিজস্ব রীতির সাথে মিলিয়ে মূল্যায়ন করা প্রয়োজন।
হাতের লেখা লেখকভেদে এবং একই পৃষ্ঠার মধ্যেও ভিন্ন হয়
হাতের লেখার কোনো একক, স্থিতিশীল অক্ষরের আকৃতি নেই। লেখকরা অক্ষর যুক্ত করেন, তাদের ঢাল পরিবর্তন করেন, শব্দ সংক্ষিপ্ত করেন এবং অসামঞ্জস্যপূর্ণ ফাঁকা স্থান রাখেন। তাড়াহুড়ো করে লেখা একটি শব্দ কয়েক লাইন আগে যত্ন সহকারে লেখা একই শব্দের চেয়ে আলাদা দেখাতে পারে। সংযুক্ত স্ট্রোকগুলোও একটি অক্ষর কোথায় শেষ হয় এবং পরেরটি কোথায় শুরু হয় তা নির্ধারণ করা কঠিন করে তোলে।
অনুক্রম-ভিত্তিক স্বীকৃতি একটি লাইন ব্যাখ্যা করার জন্য পার্শ্ববর্তী অক্ষর এবং শব্দ ব্যবহার করতে পারে, কিন্তু প্রসঙ্গ অস্পষ্টতা দূর করে না। একটি অপরিচিত উপাধি, কোড বা বিচ্ছিন্ন সংখ্যা খুব কম ভাষাগত সহায়তা প্রদান করতে পারে। মার্জিনের নোট, কেটে ফেলা লেখা এবং লাইনের উপরে যোগ করা লেখা লেখকের পরিবর্তনগুলো কীভাবে উপস্থাপন করা হবে সে সম্পর্কে একটি আলাদা প্রশ্ন তৈরি করে। এগুলো স্বীকৃতি এবং প্রতিলিপি নীতি উভয়েরই চ্যালেঞ্জ।
একটি ছবি শনাক্ত করা এবং একটি জীবন্ত কলমের আঁচড় রেকর্ড করার মধ্যে পার্থক্যটিও গুরুত্বপূর্ণ। একটি স্ক্যান করা নোটে চূড়ান্ত দৃশ্যমান চিহ্নগুলো থাকে, কিন্তু তাদের ক্রম, গতি বা দিক থাকে না। হাতের লেখা গবেষণায় এই অফলাইন ছবিগুলোকে অনলাইন পেন ইনপুট থেকে আলাদা করা হয়। কলমের নড়াচড়া বা স্পষ্টভাবে আলাদা করা অক্ষরের ওপর সাফল্য পুরো হাতের লেখার পৃষ্ঠার ছবিতে একইভাবে কার্যকর হবে বলে ধরে নেওয়া উচিত নয়।
ভাষা, লিপি এবং পড়ার দিক আলাদা অস্পষ্টতা তৈরি করে
একটি ভাষা সেটিং দরকারী প্রসঙ্গ সরবরাহ করে, কিন্তু ভাষা এবং লিপি অভিন্ন নয়। বেশ কয়েকটি ভাষা একই লিপি ভাগ করে নিতে পারে, তবে ভিন্ন বানান রীতি বা অতিরিক্ত অক্ষর ব্যবহার করতে পারে। একটি নথিতে একটি বাক্যের মধ্যে লিপি মিশ্রিত থাকতে পারে, যেমন একটি ঠিকানায় স্থানীয় ভাষার রাস্তার নাম এবং একটি ল্যাটিন শনাক্তকারী থাকা। বহুভাষিক স্বীকৃতিকে স্বতন্ত্র অক্ষরের পাশাপাশি এই রূপান্তরগুলোর সাথেও মানিয়ে নিতে হবে।
স্বীকৃতি ভাষা বলতে বোঝায় যে পাঠ্যটি পড়া হচ্ছে, ওয়েবসাইটের ইন্টারফেসের ভাষা নয়। একটি উপলব্ধ ভাষা বিকল্প মানেই এই নয় যে প্রতিটি ফন্ট, লেখার শৈলী বা ক্যাপচার অবস্থার জন্য সমান নির্ভুলতা পাওয়া যাবে। বহুভাষিক বেঞ্চমার্কগুলো বিভিন্ন লিপি এবং মিশ্র দৃশ্যগুলো পরীক্ষা করে কারণ বিভিন্ন উপাদানের ওপর কর্মক্ষমতা যাচাই করা প্রয়োজন।
আরবি, ফার্সি এবং অন্যান্য ডান-থেকে-বামে লেখা ভাষার জন্য, প্রদর্শনের ক্রম আরেকটি স্তর যোগ করে। ইউনিকোড সংরক্ষিত অক্ষরের যৌক্তিক ক্রমকে তাদের দৃশ্যমান বিন্যাস থেকে আলাদা করে। সংখ্যা, বিরামচিহ্ন এবং ল্যাটিন শব্দগুলো এক লাইনের মধ্যে ভিন্ন দিকনির্দেশক নিয়ম অনুসরণ করতে পারে। তাই আপাত এলোমেলো হওয়ার মধ্যে স্বীকৃতি, পাঠ্য সংরক্ষণ বা প্রদর্শন জড়িত থাকতে পারে। পুরো স্ট্রিংটি ম্যানুয়ালি উল্টে দিলে এমন একটি প্রতিলিপি ক্ষতিগ্রস্ত হতে পারে যার অন্তর্নিহিত অক্ষরের ক্রম ইতিমধ্যেই সঠিক ছিল।
সঠিক শব্দগুলোও ভুল পড়ার ক্রমে প্রদর্শিত হতে পারে
নথির বিন্যাস এমন সম্পর্ক প্রকাশ করে যা অক্ষরের একটি সাধারণ স্ট্রিং স্বয়ংক্রিয়ভাবে ধরতে পারে না। কলাম, শিরোনাম, ক্যাপশন, পাদটীকা এবং সাইডবারের প্রত্যেকের একটি ভূমিকা রয়েছে। একটি শনাক্তকারী তাদের শব্দগুলো সঠিকভাবে পড়তে পারে কিন্তু সেগুলোকে ভুল ক্রমে একত্রিত করতে পারে। একটি বাক্য যা পাশের কলামে চলে যায় তা একটি কাঠামোগত ত্রুটি, এমনকি যদি প্রতিটি শব্দ সঠিকভাবে বানান করা হয় তবুও।
বিন্যাস গবেষণাও দেখায় কেন পরিচিত নথির ধরনগুলো একটি সম্পূর্ণ পরীক্ষা নয়। বৈজ্ঞানিক নিবন্ধের ওপর ভিত্তি করে তৈরি একটি সিস্টেম ম্যানুয়াল, ফর্ম বা রিপোর্টে ভিন্ন বিন্যাসের সম্মুখীন হতে পারে। একটি ছোট ক্যাপশন বাদ দেওয়া বা একটি হেডারকে মূল পাঠ্য হিসেবে গণ্য করা পুরো ফলাফলের উপযোগিতাকে প্রভাবিত করতে পারে। প্রতিটি প্রাসঙ্গিক অঞ্চল খুঁজে বের করা এবং সেই অঞ্চলগুলোকে ক্রমানুসারে সাজানো উভয়ই নথি রূপান্তর মূল্যায়নের অংশ।
এই সমস্যাগুলো পুনঃব্যবহার এবং অ্যাক্সেসযোগ্যতার জন্য গুরুত্বপূর্ণ। একটি পৃষ্ঠা দেখতে সঠিক মনে হতে পারে, কিন্তু অনুলিপি করা পাঠ্য বা স্পিচ আউটপুট অনুপযুক্ত ক্রম অনুসরণ করতে পারে। W3C-এর PDF নির্দেশিকা ব্যাখ্যা করে যে কীভাবে যৌক্তিক পড়ার ক্রম অ্যাক্সেসযোগ্যতাকে সমর্থন করে। স্বীকৃত পাঠ্য সহায়ক, কিন্তু এটি তৈরি করলেই শিরোনাম, পড়ার ক্রম এবং নথির অন্যান্য অ্যাক্সেসযোগ্যতার প্রয়োজনগুলো পূরণ হয়েছে তা নিশ্চিত হয় না।
টেবিল, ফর্ম এবং সূত্রগুলো চিহ্নের মধ্যে সম্পর্কের ওপর নির্ভর করে
একটি টেবিলের অর্থ নির্ভর করে কোন মানটি কোন সারি এবং কলামের অন্তর্গত তার ওপর। মার্জ করা সেল, পুনরাবৃত্ত শিরোনাম, খালি সেল এবং পৃষ্ঠা জুড়ে থাকা টেবিলগুলো সেই সম্পর্ককে জটিল করে তোলে। যদি একটি মান ভুল শিরোনামে বরাদ্দ করা হয়, তবে সমস্ত দৃশ্যমান সংখ্যা পড়া যথেষ্ট নয়। টেবিল-নিষ্কাশন গবেষণা একটি টেবিল খুঁজে বের করা, এর কাঠামো পুনরুদ্ধার করা এবং এর সেলের ভূমিকা শনাক্ত করাকে আলাদা করে।
ফর্মগুলো একটি সম্পর্কিত সমস্যা উপস্থাপন করে। একটি লেবেল এবং এর মান সাদা স্থান, একটি লাইন বা মধ্যবর্তী নোট দ্বারা পৃথক হতে পারে। একটি কাছাকাছি চেকবক্স এমন তথ্য বহন করতে পারে যা শুধুমাত্র পাঠ্য-ভিত্তিক প্রতিলিপিতে প্রকাশ পায় না। উদাহরণস্বরূপ, কোন বক্সটি চিহ্নিত করা হয়েছে তা রেকর্ড না করে 'অনুমোদিত' এবং 'প্রত্যাখ্যাত' উভয়ই বের করা ফর্মের সিদ্ধান্তমূলক অংশটি হারিয়ে ফেলে, যদিও উভয় শব্দই সঠিকভাবে স্বীকৃত হয়েছিল।
সংখ্যা এবং সূত্রগুলো ছোট ত্রুটিকেও বড় করে তোলে। 12.5-এ দশমিক বিন্দু বাদ দিলে মান পরিবর্তিত হয়; বিয়োগ চিহ্নকে ড্যাশের সাথে গুলিয়ে ফেললে একটি অভিব্যক্তি বদলে যেতে পারে। ভগ্নাংশ, সূচক এবং সাবস্ক্রিপ্ট অক্ষরের পরিচয়ের পাশাপাশি অবস্থানের ওপরও নির্ভর করে। একটি সূত্রের দ্বিমাত্রিক কাঠামোর জন্য একটি উপযুক্ত উপস্থাপনা প্রয়োজন, এবং টেবিল পুনর্গঠন ও গাণিতিক প্রতিলিপির জন্য সাধারণ শব্দের বানানের বাইরেও মূল্যায়ন প্রয়োজন।
সাবলীল আউটপুট বাদ পড়া অংশ এবং অসমর্থিত সংশোধনগুলোকে আড়াল করতে পারে
ভাষার প্রসঙ্গ একটি শনাক্তকারীকে সম্ভাব্য পাঠের মধ্যে বেছে নিতে সাহায্য করে, কিন্তু সম্ভাব্যতা এবং বিশ্বস্ততা ভিন্ন লক্ষ্য। একটি সিস্টেম একটি অপরিচিত নামকে সাধারণ শব্দ দিয়ে প্রতিস্থাপন করতে পারে, বানানের ভুল নিয়মিত করতে পারে বা বাক্যের সাথে মানানসই শব্দ সরবরাহ করতে পারে। ফলাফলটি স্বাভাবিক শোনাতে পারে কিন্তু পৃষ্ঠা থেকে আরও দূরে সরে যেতে পারে। যখন কাজটি সম্পাদনার পরিবর্তে প্রতিলিপি করার হয়, তখন এটি বিশেষভাবে গুরুত্বপূর্ণ।
একটি 2026 হাতের লেখার বেঞ্চমার্ক লেখকের ত্রুটি, একাধিক ভাষা এবং জটিল অভিব্যক্তি পরীক্ষা করেছে এবং বেশ কয়েকটি জেনারেটিভ সিস্টেমে দৃশ্যত অসমর্থিত সংশোধন রিপোর্ট করেছে। এই ফলাফলটি একটি ব্যর্থতার ধরনকে চিত্রিত করে, এমন কোনো নিয়ম নয় যে প্রতিটি সিস্টেম একইভাবে আচরণ করে। আরও সাধারণভাবে, একটি সুগঠিত অনুচ্ছেদ এই প্রমাণ নয় যে প্রতিটি শব্দ উপস্থিত ছিল বা সমস্ত উদ্দিষ্ট লাইন অন্তর্ভুক্ত ছিল।
ত্রুটিগুলো আগের প্রক্রিয়াকরণ থেকেও আসতে পারে। একটি স্ক্যান করা PDF-এ ইতিমধ্যেই একটি অসম্পূর্ণ OCR পাঠ্য স্তর থাকতে পারে, তাই নির্বাচনযোগ্য পাঠ্য দৃশ্যমান পৃষ্ঠার সাথে অমিল হতে পারে। স্বীকৃতি দুবার চালানো আরেকটি তুলনা প্রদান করে, কিন্তু উভয় রানই একই ভুল করতে পারে। আউটপুটগুলোর মধ্যে মিল থাকা মানেই মূল ছবিকে প্রতিস্থাপন করা নয়, বিশেষ করে যেখানে একটি অক্ষর বা অনুচ্ছেদ অস্পষ্ট থেকে যায়।
নির্ভুলতা উপাদানের ওপর এবং পরিমাপ করা কাজের ওপর নির্ভর করে
একটি নির্ভুলতার সংখ্যা শুধুমাত্র একটি সংজ্ঞায়িত পরীক্ষার সাথেই অর্থবহ। ফলাফলগুলো নথিপত্র, রেফারেন্স প্রতিলিপি এবং ফাঁকা স্থান, বিরামচিহ্ন ও অন্যান্য পার্থক্যের ওপর নির্ভর করে। পরিষ্কার মুদ্রিত অনুচ্ছেদের একটি নমুনা হাতে লেখা ফর্ম বা ক্ষতিগ্রস্ত সংবাদপত্রের ওপর কর্মক্ষমতা প্রতিষ্ঠা করে না। প্রতিনিধিত্বমূলক মূল্যায়নের মধ্যে কঠিন পৃষ্ঠা এবং অস্বাভাবিক বিন্যাস অন্তর্ভুক্ত থাকে যা উদ্দিষ্ট কাজের জন্য গুরুত্বপূর্ণ।
ক্যারেক্টার এরর রেট (Character error rate) টেক্সটের দৈর্ঘ্যের সাপেক্ষে ক্যারেক্টার-স্তরের প্রতিস্থাপন, বাদ পড়া এবং সংযোজন পরিমাপ করে; ওয়ার্ড এরর রেট (word error rate) শব্দের ক্ষেত্রে অনুরূপ তুলনা প্রয়োগ করে। OCR-D-এর মূল্যায়ন নির্দেশিকা এই পরিমাপগুলোকে লেআউট এবং পড়ার ক্রম থেকে আলাদাভাবে বিবেচনা করে। এগুলো প্রয়োজনীয় প্রশ্নের উত্তর দেয়, কিন্তু সামগ্রিক এরর রেট কম হলেও তা একটি ভুল অ্যাকাউন্ট নম্বর বা একটি অনুপস্থিত নেতিবাচক শব্দকে আড়াল করতে পারে যা পুরো বাক্যের অর্থ বদলে দেয়।
তাই মূল্যায়নের মধ্যে সামগ্রিক স্কোরের পাশাপাশি সম্পূর্ণতা, কাঠামো এবং গুরুত্বপূর্ণ বিবরণ অন্তর্ভুক্ত থাকা উচিত। একটি আর্কাইভ অনুসন্ধান, একটি উদ্ধৃতি এবং হিসাবের জন্য নির্ধারিত টেবিলের প্রয়োজনীয়তা ভিন্ন। একটি অস্পষ্ট পাঠকে চিহ্নিত করা সবচেয়ে সাবলীল অনুমানের চেয়ে বেশি তথ্যবহুল এবং উৎসের সাথে একটি লিঙ্ক সংরক্ষণ করা পরবর্তী সময়ে আরও ভালো প্রমাণ বা পর্যালোচনা পাওয়া গেলে সংশোধন করা সম্ভব করে তোলে।
ত্রুটির ধরন তার সম্ভাব্য কারণ নির্দেশ করে
বিভিন্ন কারণ একই দৃশ্যমান লক্ষণ তৈরি করতে পারে, তাই রোগ নির্ণয় হলো সম্ভাবনাগুলোকে সংকীর্ণ করার একটি উপায়, কোনো নিশ্চয়তা নয়। একই ধরনের অক্ষরের মধ্যে বারবার বিভ্রান্তি ভুল ক্রমে সঠিকভাবে বানান করা শব্দের চেয়ে ভিন্ন তদন্তের পরামর্শ দেয়। নিচের উদাহরণগুলো সাধারণ লক্ষণগুলোর সাথে হারিয়ে যাওয়া তথ্যের সংযোগ স্থাপন করে।
একবার ব্যর্থতা বোঝা গেলে, প্রতিক্রিয়াটি আরও সুনির্দিষ্ট হতে পারে: একটি পরিষ্কার উৎস পাওয়া, জ্যামিতি সংশোধন করা, কোনো অঞ্চলের ব্যাখ্যা পরীক্ষা করা বা চূড়ান্ত প্রতিলিপি মেরামত করা। আলাদা 'Improve OCR Results' নির্দেশিকাটি প্রস্তুতি এবং পর্যালোচনার কর্মপ্রবাহ প্রদান করে। লক্ষ্য হলো নথির তথ্য সংরক্ষণ করা, কেবল দেখতে পরিষ্কার টেক্সট তৈরি করা নয়।
| দৃশ্যমান লক্ষণ | সম্ভাব্য অন্তর্নিহিত ব্যর্থতা | ঝুঁকিতে থাকা তথ্য |
|---|---|---|
| একই ধরনের অক্ষর বারবার গুলিয়ে ফেলা | পর্যাপ্ত বিবরণের অভাব বা অপরিচিত অক্ষরের আকৃতি | সঠিক বানান, নাম এবং শনাক্তকারী |
| অস্পষ্ট চিহ্ন বা বিরামচিহ্ন অদৃশ্য হয়ে যাওয়া | স্বল্প কন্ট্রাস্ট বা অতিরিক্ত ফিল্টারিং | অ্যাকসেন্ট, দশমিক বিন্দু এবং ছোট টীকা |
| অপ্রত্যাশিত ক্রমে সঠিক শব্দ | মিশ্র কলাম বা ভুল অঞ্চলের ক্রম | বাক্যের অর্থ এবং অনুচ্ছেদের কাঠামো |
| ভুল শিরোনামের নিচে মান প্রদর্শিত হওয়া | হারিয়ে যাওয়া সারি, কলাম বা লেবেলের সম্পর্ক | অন্যথায় সঠিক সংখ্যার অর্থ |
| মিশ্র-দিকের টেক্সট এলোমেলো দেখানো | স্বীকৃতি, যৌক্তিক ক্রম বা প্রদর্শনের আচরণ | শব্দ, বিরামচিহ্ন এবং শনাক্তকারীর ক্রম |
| অস্বাভাবিক শব্দভাণ্ডার আরও পরিচিত হয়ে ওঠা | প্রসঙ্গ-চালিত প্রতিস্থাপন বা পুনর্লিখন | নির্ভুল নাম, বানান এবং উদ্ধৃতি |
| পুরো একটি নোট বা অনুচ্ছেদ অনুপস্থিত | একটি অঞ্চল ক্রপ করা হয়েছে, বাদ পড়েছে বা এড়িয়ে যাওয়া হয়েছে | প্রতিলিপির সম্পূর্ণতা |