আলো, শব্দ এবং মেশিন রিডিংয়ের প্রাথমিক পদ্ধতিসমূহ
OCR-এর কিছু শিকড় রয়েছে অন্ধ পাঠকদের জন্য মুদ্রণকে সহজলভ্য করার প্রচেষ্টায়। 1914 সালে, ই. ই. ফোরনিয়ার ডি'আলবে একটি টাইপ-রিডিং অপটোফোন বর্ণনা করেছিলেন, যা পৃষ্ঠা থেকে আলোর প্যাটার্নকে শ্রবণযোগ্য সংকেতে রূপান্তর করত। শ্রোতারা সেই সংকেতগুলি ব্যাখ্যা করতে শিখতেন। এটি একটি অপটিক্যাল রিডিং এইড ছিল, এমন কোনো মেশিন নয় যা স্বয়ংক্রিয়ভাবে টেক্সট প্রতিলিপি তৈরি করত, তবে এটি প্রমাণ করেছিল যে মুদ্রিত চিহ্নগুলিকে অনুভব করা এবং অন্য রূপে উপস্থাপন করা সম্ভব।
অন্যান্য উদ্ভাবকরা স্বয়ংক্রিয় অক্ষর শনাক্তকরণের দিকে মনোনিবেশ করেছিলেন। গুস্তাভ টাউশেকের রিডিং-মেশিন পেটেন্ট, যা 1928 সালে দাখিল করা হয়েছিল এবং 1930 সালে প্রকাশিত হয়েছিল, তাতে ক্যারেক্টার টেমপ্লেটের সাথে ফটোইলেকট্রিক তুলনার চিত্র তুলে ধরা হয়েছিল। এর সংখ্যা-পড়ার উদাহরণে ডিভাইসে উপস্থাপিত আকৃতি পরীক্ষা করার জন্য ঘূর্ণায়মান কাটআউট ব্যবহার করা হয়েছিল। সাধারণ ডিজিটাল কম্পিউটার প্রচলিত হওয়ার অনেক আগেই এই পদ্ধতিগুলি অপটিক্স, যান্ত্রিক নড়াচড়া এবং বৈদ্যুতিক সেন্সিংকে একত্রিত করেছিল।
চিহ্ন শনাক্ত করা এবং অক্ষর চিহ্নিত করার মধ্যে পার্থক্য OCR-এর মূল বিষয় হিসেবে রয়ে গেছে। পৃষ্ঠা ক্যাপচার করা ছিল কেবল শুরু: একটি কার্যকর রিডারের একই ধরনের আকৃতিগুলিকে আলাদা করা এবং তার সিদ্ধান্তটিকে এমন একটি ফর্মে প্রকাশ করার প্রয়োজন ছিল যা অন্য ডিভাইস ব্যবহার করতে পারে।
ক্যারেক্টার রিডার ব্যবসায়িক কার্যক্রমে প্রবেশ করে
1950-এর দশকে, স্বয়ংক্রিয় রিডিং দৈনন্দিন ব্যবসায়িক প্রক্রিয়াকরণের কাছাকাছি চলে আসে। ডেভিড শেপার্ডের রিডিং-অ্যাপারেটাস পেটেন্ট 1951 সালে দাখিল করা হয় এবং 1953 সালে ইস্যু করা হয়। ন্যাশনাল ব্যুরো অফ স্ট্যান্ডার্ডসের একটি সমসাময়িক জরিপে 1955 সালে রিডার্স ডাইজেস্টে একটি প্রোডাকশন ইনস্টলেশনের রেকর্ড পাওয়া যায়। এই ধরনের সিস্টেম একটি ব্যবহারিক সীমাবদ্ধতা দূর করেছিল: কাগজে মুদ্রিত তথ্য কম্পিউটার প্রসেস করার আগে কোনো ব্যক্তিকে পুনরায় টাইপ করতে হতো।
এই রিডারগুলি সাধারণত আজকের সাধারণ ডকুমেন্ট টুলের তুলনায় অনেক সংকীর্ণ পরিস্থিতিতে কাজ করত। একটি সীমাবদ্ধ ক্যারেক্টার সেট, অনুমানযোগ্য মুদ্রণ এবং নিয়ন্ত্রিত প্লেসমেন্ট রিকগনিশনের সমস্যাটিকে আরও সহজতর করেছিল। স্ক্যানার, রিকগনিশন হার্ডওয়্যার এবং আউটপুট মেকানিজম একটি সমন্বিত সিস্টেম হিসেবে ডিজাইন করা হয়েছিল, যা প্রায়শই নির্দিষ্ট ধরনের নথির জন্য ব্যবহৃত হতো।
এটি উদ্দেশ্য এবং স্কেলের ক্ষেত্রে একটি উল্লেখযোগ্য পরিবর্তন ছিল। অপটিক্যাল রিডিং ব্যবসায়িক কম্পিউটিংয়ের জন্য একটি ইনপুট পদ্ধতি হয়ে উঠছিল। সাফল্য নির্ভর করছিল একটি নির্দিষ্ট কাজের ধারাবাহিক প্রক্রিয়াকরণের ওপর, ল্যাবরেটরির পরিবেশে মেশিন কয়েকটি অক্ষর চিনতে পারে তা প্রদর্শনের ওপর নয়।
স্ট্যান্ডার্ডাইজড ফন্ট মুদ্রিত টেক্সটকে শনাক্ত করা সহজ করে তোলে
রিকগনিশন উন্নত করার একটি উপায় ছিল ইনপুটকে আরও অনুমানযোগ্য করে তোলা। OCR-এ এবং OCR-বি-এর মতো মেশিন-রিডেবল টাইপফেসগুলি নির্দিষ্ট অক্ষরের আকৃতি এবং মুদ্রণের প্রয়োজনীয়তা ব্যবহার করত, যা রিডারের হ্যান্ডেল করার মতো বৈচিত্র্য কমিয়ে দিত। OCR-বি 1965 সালে ECMA-11 স্ট্যান্ডার্ডে উপস্থিত হয় এবং পরবর্তী সংস্করণগুলিতে স্পেসিফিকেশন আরও উন্নত করা হয়। স্ট্যান্ডার্ডাইজেশন সরঞ্জাম এবং মুদ্রিত নথিপত্রকে আরও ধারাবাহিকভাবে কাজ করতে সাহায্য করেছিল।
এই পদ্ধতিটি প্রকৌশলগত প্রচেষ্টার একটি অংশ সরাসরি নথির ওপর প্রয়োগ করেছিল। একটি কঠোরভাবে নিয়ন্ত্রিত টাইপফেস একটি সংখ্যাকে অন্য সংখ্যা থেকে আলাদা করা সহজ করে তুলত, যেখানে নির্দিষ্ট মাত্রা এবং ব্যবধান স্ক্যানিংয়ের সময় অনিশ্চয়তা কমিয়ে দিত। এর বিনিময়ে নমনীয়তা হারাতে হতো: নিয়ন্ত্রিত মুদ্রণের ওপর ভিত্তি করে ডিজাইন করা একটি রিডার স্বয়ংক্রিয়ভাবে প্রতিটি সংবাদপত্র, বই বা হাতে লেখা নোট হ্যান্ডেল করতে পারত না।
অপটিক্যাল ক্যারেক্টার রিকগনিশনকে ম্যাগনেটিক ইঙ্ক ক্যারেক্টার রিকগনিশন বা MICR থেকে আলাদা করা উচিত। উভয়ই ডকুমেন্ট অটোমেশনকে সমর্থন করত, কিন্তু MICR চুম্বকীয়ভাবে পাঠযোগ্য অক্ষর শনাক্ত করে, যেখানে OCR তাদের দৃশ্যমান ছবিকে ব্যাখ্যা করে। এই দুটি প্রযুক্তি পাশাপাশি বিকশিত হয়েছে; এগুলি একই রিডিং প্রক্রিয়ার ভিন্ন ভিন্ন নাম নয়।
অমনিফন্ট রিকগনিশন সাধারণ মুদ্রণকে নাগালের মধ্যে নিয়ে আসে
পরবর্তী লক্ষ্য ছিল এমন উপাদান পড়া যা মেশিনের জন্য বিশেষভাবে মুদ্রিত হয়নি। অমনিফন্ট রিকগনিশনের লক্ষ্য ছিল সাধারণ টাইপফেসের একটি পরিসর হ্যান্ডেল করা, যা একটি নির্দিষ্ট বর্ণমালার ওপর নির্ভরতা কমিয়ে দেয়। নামটি অগ্রগতির সেই দিকটিকে বর্ণনা করে; এর মানে এই নয় যে প্রতিটি ফন্ট, স্ক্যান বা পৃষ্ঠার লেআউট ভুল ছাড়াই পড়া সম্ভব।
একটি উল্লেখযোগ্য মাইলফলক ছিল রে কার্জওয়েল এবং তার দল কর্তৃক 13 জানুয়ারি, 1976 সালে প্রবর্তিত রিডিং মেশিন। আমেরিকান ফাউন্ডেশন ফর দ্য ব্লাইন্ডের জন্য তার মৌখিক ইতিহাসে, কার্জওয়েল স্ক্যানিং, ক্যারেক্টার রিকগনিশন এবং সিন্থেসাইজড স্পিচের সমন্বয়ের বর্ণনা দিয়েছেন। এই উপাদানগুলি একসাথে মুদ্রিত উপাদানকে কথ্য আউটপুটে পরিণত করার সুযোগ করে দেয়, যা রিকগনিশনকে একটি সম্পূর্ণ পড়ার অভিজ্ঞতার সাথে সংযুক্ত করে।
একই অন্তর্নিহিত অগ্রগতি বাণিজ্যিক ডেটা এন্ট্রিতেও সহায়তা করেছিল। OCR-এর মূল্য ক্রমবর্ধমানভাবে বিদ্যমান নথি হ্যান্ডেল করার ওপর নির্ভর করছিল, কেবল রিডারের সীমাবদ্ধতার ওপর ভিত্তি করে ডিজাইন করা নথির ওপর নয়। একই সাথে, এই সিস্টেমগুলি দেখিয়েছিল কেন কেবল পৃথক অক্ষর শনাক্ত করা যথেষ্ট ছিল না: শব্দগুলিকে উচ্চস্বরে পড়ার বা পুনরায় ব্যবহার করার আগে সেগুলিকে একটি কার্যকর ক্রমে সাজানোর প্রয়োজন ছিল।
স্ক্যানিং এবং OCR ডেস্কটপ ওয়ার্কফ্লোর অংশ হয়ে ওঠে
পার্সোনাল কম্পিউটার এবং ডেস্কটপ স্ক্যানার বিকশিত হওয়ার সাথে সাথে, OCR ডেডিকেটেড রিডিং ইনস্টলেশনের বাইরে চলে আসে। 1990 সালের ইউএস এনভায়রনমেন্টাল প্রোটেকশন এজেন্সির ডেস্কটপ স্ক্যানার মূল্যায়নে টেক্সট রিকগনিশনকে একটি ব্যবহারিক অফিস সক্ষমতা হিসেবে বিবেচনা করা হয়েছিল, যেখানে কাগজকে ব্যবহারযোগ্য কম্পিউটার ফাইলে রূপান্তরের জন্য সরঞ্জাম এবং সফটওয়্যারের তুলনা করা হয়েছিল। একটি পৃষ্ঠা স্ক্যান করা এবং তার টেক্সট ওয়ার্ড প্রসেসরে স্থানান্তর করা একটি সহজলভ্য ওয়ার্কফ্লো হয়ে ওঠে।
সফটওয়্যারকে কেবল বিচ্ছিন্ন অক্ষর শ্রেণীবদ্ধ করার চেয়ে আরও বেশি কিছু করতে হতো। এটিকে ছবি থেকে টেক্সট আলাদা করা, লাইন এবং কলাম শনাক্ত করা, বাঁকা স্ক্যানের জন্য ক্ষতিপূরণ দেওয়া এবং একটি সম্পাদনাযোগ্য নথিতে পৃষ্ঠাটি কীভাবে উপস্থাপন করা হবে তা নির্ধারণ করার প্রয়োজন ছিল। ইমেজ ক্লিনআপ, লেআউট বিশ্লেষণ, অভিধান এবং প্রাসঙ্গিক চেক সামগ্রিক রিকগনিশন প্রক্রিয়ার গুরুত্বপূর্ণ অংশ হয়ে ওঠে। একটি পৃষ্ঠায় বেশিরভাগ অক্ষর সঠিক থাকা সত্ত্বেও, যদি এর কলামগুলি মিশ্রিত থাকে তবে সেটিকে উল্লেখযোগ্যভাবে মেরামত করার প্রয়োজন হতো।
1993-এ PDF-এর প্রবর্তন পৃষ্ঠা-ভিত্তিক নথি আদান-প্রদানের একটি বহনযোগ্য উপায় যুক্ত করেছে। PDF ছিল একটি নথির ফরম্যাট, কোনো শনাক্তকরণ পদ্ধতি নয়, তবে এটি স্ক্যান করা পৃষ্ঠা এবং সংশ্লিষ্ট পাঠ্যের জন্য একটি কার্যকর মাধ্যম প্রদান করেছে। একটি পৃষ্ঠার রূপ বজায় রাখা এবং এর বিষয়বস্তুকে অনুসন্ধানযোগ্য করে তোলা এখন পরিপূরক লক্ষ্য হতে পারে।
হস্তলিপি গবেষণা এবং নিউরাল নেটওয়ার্ক শনাক্তকরণে পরিবর্তন এনেছে
ডেস্কটপ গ্রহণের পাশাপাশি, গবেষকরা কম অনুমানযোগ্য লেখার শনাক্তকরণ উন্নত করছিলেন। 1989 থেকে 1998 পর্যন্ত NIST-এর OCR প্রোগ্রামে হাতে লেখা ফর্ম এবং ইউএস সেন্সাস ব্যুরো ও আইআরএস (IRS)-এর সাথে জড়িত আবেদনপত্র অন্তর্ভুক্ত ছিল। পাবলিক ডেটাসেট এবং রেফারেন্স সিস্টেমগুলো সাবধানে বাছাই করা পৃষ্ঠার প্রদর্শনের ওপর নির্ভর না করে, সাধারণ উদাহরণের বিপরীতে পদ্ধতিগুলোর তুলনা করা সম্ভব করেছে।
নিউরাল শনাক্তকরণ ইতিমধ্যেই এই কাজের একটি গুরুত্বপূর্ণ অংশ ছিল। 1998 গবেষণাপত্র 'Gradient-Based Learning Applied to Document Recognition'-এ কনভোলিউশনাল নেটওয়ার্কের বর্ণনা দেওয়া হয়েছে, যা উদাহরণ থেকে দরকারী ভিজ্যুয়াল বৈশিষ্ট্যগুলো শেখে, সেইসাথে শনাক্তকরণ, বিভাজন এবং ভাষাগত সীমাবদ্ধতাগুলোকে একত্রিত করার পদ্ধতিগুলোও বর্ণনা করে। এটি পরিসংখ্যানগত প্যাটার্ন শনাক্তকরণের একটি বৃহত্তর ইতিহাসকে প্রসারিত করেছে; পূর্ববর্তী OCR-এ সাধারণ টেমপ্লেট ম্যাচিংয়ের বাইরের পদ্ধতিগুলোও অন্তর্ভুক্ত ছিল।
উদাহরণ থেকে শেখা স্ট্রোক এবং অক্ষরের আকৃতির ভিন্নতাকে সামঞ্জস্য করার একটি উপায় প্রদান করেছে। এটি প্রশিক্ষণ ডেটা এবং মূল্যায়নকেও আরও গুরুত্বপূর্ণ করে তুলেছে। একটি সিস্টেম বিচ্ছিন্ন হাতে লেখা সংখ্যার ওপর ভালো কাজ করতে পারে, কিন্তু সংযুক্ত হস্তলিপি বা অপরিচিত ফর্মের ক্ষেত্রে হিমশিম খেতে পারে। একটি শনাক্তকরণ কাজের অগ্রগতি অন্য সব ধরনের নথির সমস্যার সমাধান না করেই মূল্যবান ছিল।
বৃহৎ ডিজিটাল সংগ্রহ OCR-কে একটি আবিষ্কারের টুলে পরিণত করেছে
ডিজিটাইজেশন প্রকল্পগুলো OCR-এর ভূমিকাকে একটি পৃষ্ঠা পুনরায় ব্যবহার করা থেকে পুরো সংগ্রহ জুড়ে তথ্য খোঁজার কাজে প্রসারিত করেছে। লাইব্রেরি এবং আর্কাইভগুলো তাদের স্বীকৃত পাঠ্য ইনডেক্স করার সময় সংবাদপত্র, বই এবং রেকর্ডের ছবি সংরক্ষণ করতে পারে। লাইব্রেরি অফ কংগ্রেস 2007 সালের মার্চ মাসে 'ক্রনিকলিং আমেরিকা' চালু করে, যা গবেষকদের ঐতিহাসিক সংবাদপত্রের জন্য একটি অনুসন্ধানযোগ্য সম্পদ প্রদান করে।
এটি আর্কাইভের প্রতি মানুষের দৃষ্টিভঙ্গি বদলে দিয়েছে। একজন পাঠককে প্রতিটি সংখ্যা পরীক্ষা না করেই একটি নাম, স্থান বা বাক্যাংশ সরাসরি প্রাসঙ্গিক পৃষ্ঠায় নিয়ে যেতে পারে। OCR স্ক্যানিং, মেটাডেটা, ইনডেক্সিং এবং পুনরুদ্ধারের একটি বৃহত্তর সিস্টেমের অংশ হয়ে উঠেছে। এর উপযোগিতা এখন আর কেবল এই পরিমাপে সীমাবদ্ধ নেই যে একটি রপ্তানি করা নথি তার উৎসের সাথে কতটা সাদৃশ্যপূর্ণ।
ঐতিহাসিক উপাদানগুলো স্থায়ী দুর্বলতাগুলোও প্রকাশ করেছে: ক্ষতিগ্রস্ত কাগজ, পুরনো টাইপফেস, অনিয়মিত ব্যবধান এবং জটিল কলাম। শনাক্তকরণ ত্রুটিগুলো একটি প্রাসঙ্গিক অনুসন্ধানের ফলাফল লুকিয়ে ফেলতে পারে বা বিভ্রান্তিকর মিল তৈরি করতে পারে। মেশিন-জেনারেটেড পাঠ্যের পাশাপাশি মূল পৃষ্ঠাটি রাখা পাঠকদের আবিষ্কারগুলো যাচাই করার সুযোগ দেয় এবং প্রতিটি আইটেম পুনরায় স্ক্যান না করেই বিদ্যমান ডিজিটাল সংগ্রহকে সমৃদ্ধ করার একটি উপায় তৈরি করে।
প্রতিটি অক্ষর আলাদা না করেই পুরো ক্রম পড়া
হস্তলিপি শনাক্তকরণের একটি দীর্ঘস্থায়ী অসুবিধা ছিল একটি অক্ষর কোথায় শেষ হয়েছে এবং পরেরটি কোথায় শুরু হয়েছে তা নির্ধারণ করা। সংযুক্ত স্ট্রোক এবং ওভারল্যাপিং অক্ষরগুলো একটি কঠোর 'কাট-দেন-ক্লাসিফাই' প্রক্রিয়াকে ভঙ্গুর করে তুলেছিল। হিডেন মার্কভ মডেলসহ পরিসংখ্যানগত সিকোয়েন্স পদ্ধতিগুলো ইতিমধ্যেই এই সমস্যার সমাধান করেছে। রিকারেন্ট নিউরাল নেটওয়ার্ক একটি লাইন ব্যাখ্যা করার সময় পার্শ্ববর্তী তথ্য ব্যবহার করার আরেকটি উপায় প্রদান করেছে। লং শর্ট-টার্ম মেমোরি (LSTM) নেটওয়ার্ক, যা এক ধরনের রিকারেন্ট নেটওয়ার্ক, প্রতিটি ছোট অঞ্চলকে স্বাধীনভাবে বিচার করার পরিবর্তে একটি ক্রম জুড়ে প্রসঙ্গ ধরে রাখতে সাহায্য করেছে।
2006-এ প্রবর্তিত কানেকশনিস্ট টেম্পোরাল ক্লাসিফিকেশন (CTC), প্রতিটি অক্ষরের অবস্থান আগে থেকে চিহ্নিত করার প্রয়োজন ছাড়াই ইনপুট সিকোয়েন্সকে পাঠ্য লেবেলের সাথে মেলানোর একটি প্রশিক্ষণ পদ্ধতি প্রদান করেছে। মূল গবেষণাপত্রটি কথা বলার ওপর মূল্যায়ন করেছিল, যেখানে পরবর্তী কাজগুলো এই পদ্ধতিটি হস্তলিপিতে প্রয়োগ করেছে। একটি 2009 গবেষণাপত্র সিকোয়েন্স ট্রেনিংয়ের সাথে রিকারেন্ট নেটওয়ার্কগুলোকে একত্রিত করেছে, যা অনিয়ন্ত্রিত হাতে লেখা লাইনগুলো শনাক্ত করতে উভয় দিক থেকে প্রসঙ্গ ব্যবহার করে।
এটি নিখুঁত অক্ষর-ভিত্তিক বিভাজনের ওপর নির্ভরতা কমিয়েছে এবং লাইন-লেভেল শনাক্তকরণকে আরও ব্যবহারিক করতে সাহায্য করেছে। এটি প্রতিটি প্রস্তুতির ধাপ দূর করেনি: একটি সিস্টেমের এখনও পাঠ্য খুঁজে বের করা, লাইন শনাক্ত করা এবং পৃষ্ঠার ওরিয়েন্টেশন সামলানোর প্রয়োজন হতে পারে। গুরুত্বপূর্ণ পরিবর্তনটি ছিল যে, শনাক্তকরণ প্রতিটি অক্ষরের সীমানা আগে থেকে পাওয়ার পরিবর্তে একটি ছবির সিকোয়েন্স এবং এর প্রতিলিপির মধ্যে একটি অ্যালাইনমেন্ট শিখতে পারে।
ডিপ লার্নিং OCR-কে ফ্ল্যাটবেড স্ক্যানারের বাইরে নিয়ে গেছে
ছবি তোলা পাঠ্য সমস্যাটিকে আবার প্রসারিত করেছে। ডেস্কের ওপর রাখা রসিদ, দোকানের সাইনবোর্ড বা কোণাকুণিভাবে তোলা পৃষ্ঠায় ছায়া, পার্সপেক্টিভ ডিস্টরশন এবং বিভ্রান্তিকর ব্যাকগ্রাউন্ড থাকতে পারে। শব্দগুলো শনাক্ত করার আগে, একটি সিস্টেমকে সেগুলো খুঁজে বের করতে হতো। তাই পাঠ্য শনাক্তকরণ এবং পাঠ্য স্বীকৃতি ঘনিষ্ঠভাবে সম্পর্কিত গবেষণার কাজে পরিণত হয়েছে, যার ক্যামেরা-ভিত্তিক পড়া এবং অনুবাদের সাথে ব্যবহারিক প্রাসঙ্গিকতা রয়েছে।
ডিপ লার্নিং উভয় ধাপকেই উন্নত করেছে। একটি 2015 সিন-টেক্সট গবেষণাপত্র কনভোলিউশনাল ইমেজ ফিচার, রিকারেন্ট সিকোয়েন্স প্রসেসিং এবং ট্রান্সক্রিপশনকে একটি প্রশিক্ষণযোগ্য শনাক্তকরণ সিস্টেমে একত্রিত করেছে। ফিচার এক্সট্রাকশন এবং পড়াকে সম্পূর্ণ আলাদা হস্তনির্মিত উপাদান হিসেবে বিবেচনা করার পরিবর্তে, গবেষকরা সেগুলোকে একসাথে অপ্টিমাইজ করতে পেরেছেন। এই পদ্ধতিটি প্রতিটি অক্ষর আলাদা না করেই বিভিন্ন দৈর্ঘ্যের শব্দগুলোকেও সামলাতে পারে।
বেঞ্চমার্কগুলো ক্রমবর্ধমানভাবে অনিয়ন্ত্রিত ক্যাপচার শর্তগুলোকে প্রতিফলিত করেছে। 2015 ICDAR রোবাস্ট রিডিং কম্পিটিশন আনুষঙ্গিক সিন টেক্সট যুক্ত করেছে, যা পাঠযোগ্য শব্দের চারপাশে ইচ্ছাকৃতভাবে ফ্রেম করা ছবির বাইরে মূল্যায়নকে প্রসারিত করেছে। এটি এমন সিস্টেমগুলোকে উৎসাহিত করেছে যা দৈনন্দিন ছবিতে মানুষের দেখা পাঠ্যের সাথে মোকাবিলা করতে পারে। এটি আরও স্পষ্ট করেছে যে পরিষ্কার স্ক্যান করা নথির ওপর কর্মক্ষমতা বৃহত্তর ভিজ্যুয়াল জগতে একজন পাঠকের সক্ষমতাকে পুরোপুরি বর্ণনা করে না।
সিন্থেটিক প্রশিক্ষণ ডেটা এবং বহুভাষিক বেঞ্চমার্ক কভারেজ প্রসারিত করেছে
উন্নত শেখার পদ্ধতিগুলোর জন্য আরও বৈচিত্র্যময় উদাহরণের প্রয়োজন ছিল। সিন্থেটিক প্রশিক্ষণের ছবিগুলো গবেষকদের প্রতিটি নতুন ছবির লেবেল ম্যানুয়ালি না দিয়েই বিভিন্ন ফন্ট, আকার, রঙ এবং ব্যাকগ্রাউন্ডে পাঠ্য তৈরি করতে দিয়েছে। 2016-এ প্রকাশিত অক্সফোর্ড গবেষণা কৃত্রিম পাঠ্যকে বাস্তব দৃশ্যে স্থাপন করেছে এবং তাদের জ্যামিতির হিসাব করেছে, যা পাঠ্য শনাক্তকরণের জন্য প্রচুর পরিমাণে প্রশিক্ষণের উপাদান সরবরাহ করেছে। জেনারেটেড উদাহরণগুলো বাস্তব ছবিগুলোকে পরিপূরক করেছে, যা নির্দিষ্ট ভিন্নতাগুলোকে বড় আকারে তৈরি করা সহজ করেছে।
বহুভাষিক মূল্যায়ন সমান্তরালভাবে প্রসারিত হয়েছে। 2017 ICDAR বহুভাষিক চ্যালেঞ্জে ছয়টি স্ক্রিপ্টের প্রতিনিধিত্বকারী নয়টি ভাষা অন্তর্ভুক্ত ছিল; এর 2019 উত্তরসূরি একটি ভাষা এবং একটি এন্ড-টু-এন্ড শনাক্তকরণ কাজ যুক্ত করেছে। এই বেঞ্চমার্কগুলো মিশ্র স্ক্রিপ্ট, বিভিন্ন ওরিয়েন্টেশন এবং লেখার বিস্তৃত পরিসরকে একটি সাধারণ মূল্যায়নের সেটিংয়ে নিয়ে এসেছে।
বৃহত্তর শিক্ষাটি ছিল যে ভাষা সমর্থন মানে বর্ণমালায় কেবল অক্ষর যোগ করার চেয়ে অনেক বেশি কিছু। সিস্টেমগুলোর উপযুক্ত প্রশিক্ষণের উদাহরণ এবং এমন পদ্ধতি প্রয়োজন ছিল যা বিভিন্ন অক্ষরের গঠন, সংযুক্ত লেখা এবং পড়ার দিকগুলোর সাথে মোকাবিলা করতে পারে। শেয়ার করা ডেটাসেটগুলো এই পার্থক্যগুলো পরিমাপ করা সহজ করেছে, পাশাপাশি সু-প্রতিনিধিত্বশীল ভাষা এবং কম পরিচিত উপাদানের কর্মক্ষমতার মধ্যে ব্যবধানগুলো প্রকাশ করেছে।
অ্যাটেনশন এবং লেআউট-সচেতন শিক্ষা শব্দগুলোকে পৃষ্ঠার কাঠামোর সাথে সংযুক্ত করে
ভাষার কাজের জন্য 2017-এ প্রবর্তিত ট্রান্সফরমার আর্কিটেকচার অ্যাটেনশনের মাধ্যমে একটি সিকোয়েন্স জুড়ে সম্পর্ক মডেল করার একটি শক্তিশালী উপায় প্রদান করেছে। OCR-এর জন্য এর গুরুত্ব পাঠ্য শনাক্তকরণ এবং নথি বিশ্লেষণের পরবর্তী প্রয়োগগুলোর মাধ্যমে বিকশিত হয়েছে। অ্যাটেনশন একটি সিস্টেমকে ফলাফল তৈরি করার সময় তার ইনপুটের প্রাসঙ্গিক অংশগুলোকে গুরুত্ব দেওয়ার সুযোগ দিয়েছে, যা কনভোলিউশনাল এবং রিকারেন্ট নেটওয়ার্কের পাশাপাশি আরেকটি পদ্ধতি যুক্ত করেছে।
ডকুমেন্ট গবেষণায় কেবল সাধারণ প্রতিলিপির বাইরেও অনেক কিছু দেখা হচ্ছিল। ডিসেম্বর 2019-এ জমা দেওয়া এবং 2020-এ প্রকাশিত একটি গবেষণায় প্রি-ট্রেনিংয়ের সময় স্বীকৃত টেক্সটকে তার পৃষ্ঠার অবস্থানের সাথে যুক্ত করা হয়েছে, এবং পরবর্তীতে নির্দিষ্ট ডকুমেন্ট কাজের জন্য সিস্টেমটিকে মানিয়ে নেওয়ার সময় ভিজ্যুয়াল বৈশিষ্ট্যগুলো অন্তর্ভুক্ত করা হয়েছে। অবস্থান গুরুত্বপূর্ণ ছিল কারণ একই শব্দ শিরোনাম, ঠিকানার ব্লক বা ফর্মের সারিতে ভিন্ন ভিন্ন ভূমিকা পালন করতে পারে।
এটি ডকুমেন্ট শ্রেণীকরণ এবং তথ্য উত্তোলনের মতো কাজের সাথে স্বীকৃতিকে সংযুক্ত করতে সাহায্য করেছে। একটি সংখ্যা পড়া এবং সেটিকে ইনভয়েস টোটাল হিসেবে শনাক্ত করা সম্পর্কিত কিন্তু স্বতন্ত্র কাজ; পৃষ্ঠার গঠন দ্বিতীয়টির জন্য সূত্র প্রদান করে। লেআউট-সচেতন পদ্ধতিগুলো OCR-কে অপ্রয়োজনীয় করে তোলেনি। এগুলো এর আউটপুটকে আশেপাশের ভিজ্যুয়াল প্রমাণের সাথে ব্যবহার করার উপায় প্রদান করেছে, যা ডকুমেন্ট প্রসেসিংকে শব্দের একক প্রবাহের পরিবর্তে উপাদানগুলোর মধ্যে সম্পর্কের দিকে নিয়ে গেছে।
ট্রান্সফরমারগুলো টেক্সট পড়ে এবং সরাসরি ডকুমেন্টের ফলাফল তৈরি করে
2021 সালের মধ্যে, গবেষকরা প্রি-ট্রেইনড ইমেজ এবং টেক্সট ট্রান্সফরমারগুলোকে সরাসরি স্বীকৃতির জন্য প্রয়োগ করছিলেন। একটি প্রকাশিত পদ্ধতিতে একটি ইমেজ এনকোডারকে একটি টেক্সট ডিকোডারের সাথে যুক্ত করা হয়েছে এবং মুদ্রিত, হাতে লেখা ও দৃশ্যমান টেক্সট মূল্যায়ন করা হয়েছে। বড় সংগ্রহের ওপর প্রি-ট্রেনিং, এবং তারপরে আরও নির্দিষ্ট কাজের জন্য প্রশিক্ষণ, ভিজ্যুয়াল প্যাটার্ন শেখার এবং সুসংগত অক্ষর বা শব্দের ক্রম তৈরির আরেকটি পথ উন্মুক্ত করেছে।
কাজের একটি পৃথক ধারা একটি স্বাধীন প্রচলিত OCR ইঞ্জিন না চালিয়েই ছবি থেকে কাঠামোগত ডকুমেন্টের ফলাফল তৈরির বিষয়টি অন্বেষণ করেছে। 2021 সালের শেষের দিকে প্রবর্তিত এবং 2022 সালে সংশোধিত গবেষণা ডকুমেন্ট বোঝার জন্য এই পদ্ধতিটি প্রদর্শন করেছে। সেই কাজে OCR-মুক্ত শব্দটি একটি পৃথক OCR পর্যায়ের অনুপস্থিতিকে বর্ণনা করে; সিস্টেমটিকে এখনও ছবি থেকে প্রাসঙ্গিক লিখিত তথ্য আহরণ করতে হয়।
এই উন্নয়নগুলো উপলব্ধ আর্কিটেকচারগুলোকে প্রসারিত করেছে। একটি প্রসেসিং সিস্টেম টেক্সট শনাক্ত করে তারপর তা বিশ্লেষণ করতে পারে, অথবা সরাসরি কাঙ্ক্ষিত ফলাফল তৈরির জন্য একটি মডেলকে প্রশিক্ষণ দিতে পারে। কোনো ব্যবস্থাই প্রতিটি পৃষ্ঠায় নির্ভুল আউটপুটের নিশ্চয়তা দেয় না। এই পছন্দটি পরিবর্তন করে কোথায় ত্রুটি প্রবেশ করতে পারে, কীভাবে ফলাফলগুলো পরিদর্শন করা হয় এবং কীভাবে স্বীকৃত শব্দ ও তাদের অবস্থানের মতো মধ্যবর্তী প্রমাণগুলো সহজে ধরে রাখা যায়।
মাল্টিমোডাল সিস্টেমগুলো ডকুমেন্ট পড়া প্রসারিত করে এবং নতুন পরীক্ষার জন্ম দেয়
সাম্প্রতিক মাল্টিমোডাল সিস্টেমগুলো ইমেজ প্রসেসিং এবং ল্যাঙ্গুয়েজ জেনারেশনকে একত্রিত করে, যা ডকুমেন্ট টেক্সটকে বৃহত্তর মিথস্ক্রিয়ায় অংশগ্রহণ করতে দেয়। সিস্টেম এবং কাজের ওপর নির্ভর করে, একজন ব্যবহারকারী প্রতিলিপি চাইতে পারেন, কোনো পৃষ্ঠা সম্পর্কে প্রশ্ন করতে পারেন বা নির্দিষ্ট ক্ষেত্রগুলো বের করতে পারেন। স্বীকৃতি ক্রমশ একটি বৃহত্তর ডকুমেন্ট ওয়ার্কফ্লোর মধ্যে অবস্থান করছে, যেখানে মূল প্রয়োজনীয়তা একটি নির্ভুল, পরিদর্শনযোগ্য প্রতিলিপি হলে ডেডিকেটেড OCR কার্যকর থাকে।
মূল্যায়ন সেই অনুযায়ী প্রসারিত হয়েছে। 2023 সালে প্রবর্তিত OCRBench, ডকুমেন্ট প্রশ্ন, তথ্য উত্তোলন এবং হাতে লেখা গাণিতিক অভিব্যক্তির পাশাপাশি স্বীকৃতিকে বিবেচনা করেছে। 2024 সালের শেষে প্রকাশিত এবং 2025 সালে সংশোধিত এর উত্তরসূরি, ভিজ্যুয়াল টেক্সট এবং যুক্তিনির্ভর কাজের একটি বিস্তৃত সেট পরীক্ষা করেছে। রিপোর্ট করা সীমাবদ্ধতাগুলোর মধ্যে সূক্ষ্ম বিবরণ, লেআউট, জটিল উপাদান এবং কম পরিচিত টেক্সট অন্তর্ভুক্ত ছিল, যা দেখায় কেন একটি একক নির্ভুলতার দাবি প্রতিটি ডকুমেন্ট-পড়ার প্রয়োজনীয়তাকে পূরণ করতে পারে না।
এই বৃহত্তর সক্ষমতা আউটপুটের উদ্দেশ্যকেও আরও গুরুত্বপূর্ণ করে তোলে। একটি সহায়ক ব্যাখ্যা প্যারাফ্রেজ করতে পারে, যেখানে একটি নির্ভুল প্রতিলিপিকে অবশ্যই পৃষ্ঠায় যা লেখা আছে তা বজায় রাখতে হবে। সাবলীল শব্দচয়ন এটি নিশ্চিত করতে পারে না যে কোনো নাম, পরিমাণ বা উদ্ধৃতি সঠিকভাবে পড়া হয়েছে। সিস্টেমগুলোর কাজের জন্য উপযুক্ত মূল্যায়নের প্রয়োজন, তা অক্ষর নির্ভুলতা, পড়ার ক্রম, টেবিলের গঠন বা উত্তোলিত ক্ষেত্রের সঠিকতা যাই হোক না কেন।
শতাব্দী জুড়ে, অগ্রগতির দিকটি কম নিয়ন্ত্রিত ইনপুট এবং আরও দরকারী আউটপুটের দিকে ছিল: নির্ধারিত অক্ষর থেকে সাধারণ প্রিন্ট, হাতের লেখা, ফটোগ্রাফ এবং জটিল ডকুমেন্ট পর্যন্ত। নতুন পদ্ধতিগুলো প্রতিষ্ঠিত পদ্ধতিগুলোর সাথে যুক্ত হতে থাকে। কেন্দ্রীয় চ্যালেঞ্জটি একই রয়ে গেছে: ভিজ্যুয়াল প্রমাণকে নির্ভরযোগ্য তথ্যে রূপান্তর করা এবং একই সাথে গুরুত্বপূর্ণ বিবরণগুলো বজায় রাখা।