روشنی، آواز اور مشین ریڈنگ کے ابتدائی طریقے
OCR کی جڑیں نابینا قارئین کے لیے پرنٹ کو قابل رسائی بنانے کی کوششوں میں مضمر ہیں۔ 1914 میں، ای ای فورنیئر ڈی البے (E. E. Fournier d'Albe) نے ایک ٹائپ ریڈنگ آپٹوفون (optophone) بیان کیا، جس نے صفحے سے روشنی کے نمونوں کو قابل سماعت سگنلز میں تبدیل کیا۔ سننے والے نے ان سگنلز کی تشریح کرنا سیکھا۔ یہ ایک آپٹیکل ریڈنگ ایڈ تھا، نہ کہ ایسی مشین جو خود بخود ٹیکسٹ ٹرانسکرپٹ تیار کرتی ہو، لیکن اس نے یہ ثابت کیا کہ پرنٹ شدہ نشانات کو محسوس کیا جا سکتا ہے اور کسی دوسری شکل میں پیش کیا جا سکتا ہے۔
دیگر موجدوں نے خودکار کریکٹر شناخت پر کام کیا۔ گستاو ٹاؤشیک (Gustav Tauschek) کا ریڈنگ مشین کا پیٹنٹ، جو 1928 میں دائر کیا گیا اور 1930 میں شائع ہوا، کریکٹر ٹیمپلیٹس کے ساتھ فوٹو الیکٹرک موازنہ کی وضاحت کرتا ہے۔ اس کی ہندسے پڑھنے کی مثال میں ڈیوائس کے سامنے پیش کردہ شکل کو جانچنے کے لیے گھومنے والے کٹ آؤٹ کا استعمال کیا گیا تھا۔ ان طریقوں نے عام مقصد کے ڈیجیٹل کمپیوٹرز کے عام ہونے سے بہت پہلے آپٹکس، مکینیکل حرکت اور برقی سینسنگ کو یکجا کر دیا تھا۔
نشان کی شناخت اور کریکٹر کی پہچان کے درمیان فرق OCR کے لیے مرکزی حیثیت رکھتا تھا۔ صفحے کو کیپچر کرنا صرف شروعات تھی: ایک مفید ریڈر کو ملتی جلتی شکلوں میں فرق کرنے اور اپنے فیصلے کو ایسی شکل میں ظاہر کرنے کی بھی ضرورت تھی جسے کوئی دوسری ڈیوائس استعمال کر سکے۔
کریکٹر ریڈرز کاروباری آپریشنز میں داخل ہوتے ہیں
1950 کی دہائی کے دوران، خودکار ریڈنگ روزمرہ کے کاروباری عمل کے قریب تر ہو گئی۔ ڈیوڈ شیپرڈ (David Shepard) کا ریڈنگ اپریٹس پیٹنٹ 1951 میں دائر کیا گیا اور 1953 میں جاری ہوا۔ نیشنل بیورو آف اسٹینڈرڈز کے ایک ہم عصر سروے میں 1955 میں ریڈرز ڈائجسٹ (Reader's Digest) میں ایک پروڈکشن انسٹالیشن ریکارڈ کی گئی۔ اس طرح کے سسٹمز نے ایک عملی رکاوٹ کو دور کیا: کاغذ پر پہلے سے پرنٹ شدہ معلومات کو کمپیوٹر کے پروسیس کرنے سے پہلے کسی شخص کو دوبارہ داخل کرنا پڑتا تھا۔
یہ ریڈرز عام طور پر آج کے عام دستاویز ٹولز کے مقابلے میں بہت زیادہ محدود حالات میں کام کرتے تھے۔ ایک محدود کریکٹر سیٹ، پیش قیاسی پرنٹنگ اور کنٹرول شدہ پلیسمنٹ نے شناخت کے مسئلے کو زیادہ قابل انتظام بنا دیا۔ اسکینر، شناخت کا ہارڈویئر اور آؤٹ پٹ میکانزم کو ایک مربوط نظام کے طور پر ڈیزائن کیا گیا تھا، اکثر دستاویزات کی ایک خاص کلاس کے لیے۔
یہ مقصد اور پیمانے میں ایک اہم تبدیلی تھی۔ آپٹیکل ریڈنگ کاروباری کمپیوٹنگ کے لیے ایک ان پٹ طریقہ بن رہی تھی۔ کامیابی کا انحصار لیبارٹری کے حالات میں چند حروف کو پہچاننے کی مشین کی صلاحیت دکھانے کے بجائے، ایک متعین ورک لوڈ کی مستقل پروسیسنگ پر تھا۔
معیاری فونٹس پرنٹ شدہ ٹیکسٹ کو پہچاننا آسان بناتے ہیں
شناخت کو بہتر بنانے کا ایک طریقہ ان پٹ کو زیادہ پیش قیاسی بنانا تھا۔ مشین کے پڑھنے کے قابل ٹائپ فیس جیسے OCR-A اور OCR-B نے مخصوص کریکٹر اشکال اور پرنٹنگ کی ضروریات کا استعمال کیا، جس سے اس تغیر کو کم کیا گیا جسے ریڈر کو ہینڈل کرنا پڑتا تھا۔ OCR-B 1965 میں ECMA-11 معیار میں ظاہر ہوا، جس کے بعد کے ایڈیشنز نے تفصیلات کو بہتر کیا۔ معیاری کاری نے آلات اور پرنٹ شدہ دستاویزات کو زیادہ مستقل طور پر کام کرنے میں مدد کی۔
اس نقطہ نظر نے انجینئرنگ کی کوششوں کا کچھ حصہ خود دستاویز پر ڈال دیا۔ ایک سختی سے کنٹرول شدہ ٹائپ فیس ایک ہندسے کو دوسرے ہندسے سے ممتاز کرنا آسان بنا سکتا تھا، جبکہ مخصوص طول و عرض اور وقفہ کاری نے اسکیننگ کے دوران غیر یقینی صورتحال کو کم کیا۔ اس کا نقصان لچک میں کمی تھی: کنٹرول شدہ پرنٹ کے ارد گرد ڈیزائن کیا گیا ریڈر ہر اخبار، کتاب یا ہاتھ سے لکھے ہوئے نوٹ کو خود بخود ہینڈل نہیں کر سکتا تھا۔
آپٹیکل کریکٹر ریکگنیشن کو مقناطیسی سیاہی کریکٹر ریکگنیشن (MICR) سے بھی الگ کیا جانا چاہیے۔ دونوں نے دستاویز کی آٹومیشن کی حمایت کی، لیکن MICR مقناطیسی طور پر پڑھنے کے قابل حروف کو محسوس کرتا ہے، جبکہ OCR ان کی مرئی تصویر کی تشریح کرتا ہے۔ دونوں ٹیکنالوجیز ایک ساتھ تیار ہوئیں؛ یہ ایک ہی پڑھنے کے عمل کے لیے مختلف نام نہیں ہیں۔
اومنی فونٹ (Omnifont) شناخت عام پرنٹ کو پہنچ کے اندر لاتی ہے
اگلا مقصد ایسا مواد پڑھنا تھا جو خاص طور پر مشین کے لیے پرنٹ نہیں کیا گیا تھا۔ اومنی فونٹ شناخت کا مقصد عام ٹائپ فیسوں کی ایک رینج کو ہینڈل کرنا تھا، جس سے ایک ہی تجویز کردہ حروف تہجی پر انحصار کم ہو سکے۔ نام نے پیش رفت کی اس سمت کو بیان کیا؛ اس کا مطلب یہ نہیں تھا کہ ہر فونٹ، اسکین یا صفحہ لے آؤٹ کو بغیر کسی غلطی کے پڑھا جا سکتا ہے۔
ایک نمایاں سنگ میل وہ ریڈنگ مشین تھی جسے رے کرزویل (Ray Kurzweil) اور ان کی ٹیم نے 13 جنوری 1976 کو متعارف کرایا تھا۔ نابینا افراد کے لیے امریکن فاؤنڈیشن کے لیے اپنی زبانی تاریخ میں، کرزویل اسکیننگ، کریکٹر ریکگنیشن اور سنتھیسائزڈ اسپیچ کے امتزاج کو بیان کرتے ہیں۔ ان اجزاء نے مل کر پرنٹ شدہ مواد کو بولے جانے والے آؤٹ پٹ میں تبدیل کرنے کی اجازت دی، جس نے شناخت کو پڑھنے کے مکمل تجربے کے ساتھ جوڑ دیا۔
اسی بنیادی پیش رفت نے تجارتی ڈیٹا انٹری کی بھی حمایت کی۔ OCR کی قدر کا انحصار تیزی سے موجودہ دستاویزات کو ہینڈل کرنے پر تھا، نہ کہ صرف ان دستاویزات پر جو ریڈر کی حدود کے مطابق ڈیزائن کی گئی تھیں۔ اسی وقت، ان سسٹمز نے دکھایا کہ انفرادی حروف کو پہچاننا کیوں ناکافی تھا: الفاظ کو بلند آواز میں پڑھنے یا دوبارہ استعمال کرنے سے پہلے انہیں مفید ترتیب میں جمع کرنے کی ضرورت تھی۔
اسکیننگ اور OCR ڈیسک ٹاپ ورک فلو کا حصہ بن جاتے ہیں
جیسے جیسے پرسنل کمپیوٹرز اور ڈیسک ٹاپ اسکینرز تیار ہوئے، OCR وقف شدہ ریڈنگ انسٹالیشنز سے آگے بڑھ گیا۔ 1990 کے امریکی ماحولیاتی تحفظ کے ادارے (EPA) کے ڈیسک ٹاپ اسکینرز کے جائزے میں ٹیکسٹ ریکگنیشن کو پہلے ہی ایک عملی دفتری صلاحیت کے طور پر دیکھا گیا، جس میں کاغذ کو قابل استعمال کمپیوٹر فائلوں میں تبدیل کرنے کے لیے آلات اور سافٹ ویئر کا موازنہ کیا گیا۔ صفحہ اسکین کرنا اور اس کے ٹیکسٹ کو ورڈ پروسیسر میں منتقل کرنا ایک تیزی سے قابل رسائی ورک فلو بن گیا۔
سافٹ ویئر کو الگ تھلگ حروف کی درجہ بندی کرنے سے زیادہ کام کرنا پڑتا تھا۔ اسے ٹیکسٹ کو تصویروں سے الگ کرنے، لائنوں اور کالموں کی شناخت کرنے، جھکے ہوئے اسکینوں کی تلافی کرنے اور یہ فیصلہ کرنے کی ضرورت تھی کہ صفحے کو قابل ترمیم دستاویز میں کیسے پیش کیا جائے۔ امیج کی صفائی، لے آؤٹ کا تجزیہ، لغات اور سیاق و سباق کی جانچ پڑتال مجموعی شناخت کے عمل کے اہم حصے بن گئے۔ ایک صفحے میں زیادہ تر درست حروف ہو سکتے تھے، پھر بھی اگر اس کے کالم آپس میں مل گئے ہوں تو اسے کافی مرمت کی ضرورت پڑ سکتی تھی۔
1993 میں PDF کا تعارف صفحہ پر مبنی دستاویزات کے تبادلے کا ایک پورٹیبل طریقہ لے کر آیا۔ PDF ایک دستاویز کا فارمیٹ تھا، نہ کہ شناخت کا طریقہ، لیکن اس نے اسکین شدہ صفحات اور متعلقہ متن کے لیے ایک مفید جگہ فراہم کی۔ اب کسی صفحے کی ظاہری شکل کو محفوظ رکھنا اور اس کے مواد کو تلاش کے قابل بنانا تکمیلی اہداف بن سکتے تھے۔
ہاتھ سے لکھی تحریر پر تحقیق اور نیورل نیٹ ورکس کی وجہ سے شناخت میں تبدیلی
ڈیسک ٹاپ کے استعمال کے ساتھ ساتھ، محققین کم پیش قیاسی والی تحریر کی شناخت کو بہتر بنا رہے تھے۔ 1989 سے 1998 تک NIST کا OCR پروگرام، ہاتھ سے پرنٹ شدہ فارمز اور ایسی ایپلی کیشنز پر مشتمل تھا جن میں امریکی مردم شماری بیورو اور IRS شامل تھے۔ عوامی ڈیٹا سیٹس اور حوالہ جاتی سسٹمز نے یہ ممکن بنایا کہ طریقوں کا موازنہ مشترکہ مثالوں کے ساتھ کیا جائے، بجائے اس کے کہ صرف احتیاط سے منتخب کردہ صفحات کے مظاہروں پر انحصار کیا جائے۔
نیورل شناخت اس کام کا پہلے ہی ایک اہم حصہ تھی۔ 1998 مقالے 'Gradient-Based Learning Applied to Document Recognition' نے ایسے کنوولیوشنل نیٹ ورکس کو بیان کیا جو مثالوں سے مفید بصری خصوصیات سیکھتے تھے، اس کے ساتھ ساتھ شناخت، تقسیم اور زبان کی رکاوٹوں کو یکجا کرنے کے طریقے بھی شامل تھے۔ اس نے شماریاتی پیٹرن کی شناخت کی وسیع تر تاریخ کو وسعت دی؛ اس سے پہلے کے OCR میں بھی سادہ ٹیمپلیٹ میچنگ سے ہٹ کر طریقے شامل تھے۔
مثالوں سے سیکھنے نے اسٹروکس اور حروف کی اشکال میں تغیرات کو ایڈجسٹ کرنے کا ایک طریقہ پیش کیا۔ اس نے تربیتی ڈیٹا اور تشخیص کو بھی زیادہ اہم بنا دیا۔ ایک سسٹم ہاتھ سے لکھے ہوئے الگ تھلگ ہندسوں پر تو اچھا کام کر سکتا تھا، لیکن جڑی ہوئی لکھائی یا غیر مانوس فارمز کے ساتھ اسے مشکلات کا سامنا کرنا پڑ سکتا تھا۔ ایک شناختی کام پر پیش رفت، خود بخود ہر دوسری قسم کی دستاویز کو حل کیے بغیر بھی قیمتی تھی۔
بڑے ڈیجیٹل مجموعے OCR کو دریافت کا ایک ٹول بناتے ہیں
ڈیجیٹائزیشن کے منصوبوں نے OCR کے کردار کو صفحے کے دوبارہ استعمال سے بڑھا کر پورے مجموعوں میں معلومات دریافت کرنے تک وسیع کر دیا۔ لائبریریاں اور آرکائیوز اخبارات، کتابوں اور ریکارڈز کی تصاویر کو محفوظ کر سکتے تھے جبکہ ان کے شناخت شدہ متن کو انڈیکس بھی کر سکتے تھے۔ لائبریری آف کانگریس نے مارچ 2007 میں 'Chronicling America' کا آغاز کیا، جس نے محققین کو تاریخی اخبارات کے لیے تلاش کے قابل وسیلہ فراہم کیا۔
اس نے لوگوں کے آرکائیو تک پہنچنے کے انداز کو بدل دیا۔ ایک نام، جگہ یا جملہ براہ راست متعلقہ صفحے تک لے جا سکتا تھا، جس کے لیے قاری کو ہر شمارے کو دیکھنے کی ضرورت نہیں تھی۔ OCR اسکیننگ، میٹا ڈیٹا، انڈیکسنگ اور بازیافت کے ایک بڑے سسٹم کا حصہ بن گیا۔ اس کی افادیت اب صرف اس بات سے نہیں ماپی جاتی تھی کہ ایک برآمد شدہ دستاویز اپنے ماخذ سے کتنی مشابہت رکھتی ہے۔
تاریخی مواد نے مستقل کمزوریوں کو بھی بے نقاب کیا: خراب کاغذ، پرانے ٹائپ فیس، بے قاعدہ وقفہ کاری اور پیچیدہ کالم۔ شناخت کی غلطیاں تلاش کے متعلقہ نتائج کو چھپا سکتی تھیں یا گمراہ کن نتائج پیدا کر سکتی تھیں۔ مشین کے تیار کردہ متن کے ساتھ اصل صفحے کو رکھنے سے قارئین کو دریافتوں کی تصدیق کرنے کا موقع ملا، اور بہتر شناخت نے ہر آئٹم کو دوبارہ اسکین کیے بغیر موجودہ ڈیجیٹل مجموعے کو افزودہ کرنے کا ایک طریقہ فراہم کیا۔
ہر حرف کو الگ کیے بغیر مکمل تسلسل کو پڑھنا
ہاتھ سے لکھی تحریر کی شناخت میں ایک دیرینہ مشکل یہ فیصلہ کرنا تھا کہ ایک حرف کہاں ختم ہوتا ہے اور اگلا کہاں سے شروع ہوتا ہے۔ جڑے ہوئے اسٹروکس اور اوورلیپنگ حروف نے 'پہلے کاٹو پھر درجہ بندی کرو' کے عمل کو نازک بنا دیا تھا۔ شماریاتی تسلسل کے طریقے، بشمول ہڈن مارکوف ماڈلز، اس مسئلے کو پہلے ہی حل کر چکے تھے۔ ریکرنٹ نیورل نیٹ ورکس نے ایک لائن کی تشریح کرتے وقت قریبی معلومات کو استعمال کرنے کا ایک اور طریقہ پیش کیا۔ لانگ شارٹ ٹرم میموری (LSTM) نیٹ ورکس، جو کہ ریکرنٹ نیٹ ورک کی ایک قسم ہے، نے ہر چھوٹے حصے کو الگ سے جانچنے کے بجائے تسلسل میں سیاق و سباق کو برقرار رکھنے میں مدد کی۔
Connectionist Temporal Classification، جسے 2006 میں متعارف کرایا گیا، نے ان پٹ تسلسل کو ٹیکسٹ لیبلز سے ملانے کے لیے ایک تربیتی طریقہ فراہم کیا، جس میں ہر حرف کی پوزیشن کو پہلے سے نشان زد کرنے کی ضرورت نہیں تھی۔ اصل مقالے نے تقریر کا جائزہ لیا، جبکہ بعد کے کام نے اس نقطہ نظر کو ہاتھ سے لکھی تحریر پر لاگو کیا۔ ایک 2009 مقالے نے تسلسل کی تربیت کو ایسے ریکرنٹ نیٹ ورکس کے ساتھ ملایا جو غیر محدود ہاتھ سے لکھی ہوئی لائنوں کو پہچاننے کے لیے دونوں سمتوں سے سیاق و سباق کا استعمال کرتے تھے۔
اس نے حرف بہ حرف تقسیم پر انحصار کو کم کیا اور لائن کی سطح کی شناخت کو زیادہ عملی بنانے میں مدد کی۔ اس نے تیاری کے ہر مرحلے کو ختم نہیں کیا: سسٹم کو اب بھی متن کو تلاش کرنے، لائنوں کی شناخت کرنے اور صفحے کی سمت کو سنبھالنے کی ضرورت پڑ سکتی تھی۔ اہم تبدیلی یہ تھی کہ شناخت اب ہر حرف کی حد کو پہلے سے حاصل کرنے کے بجائے، تصویر کے تسلسل اور اس کے ٹرانسکرپٹ کے درمیان صف بندی سیکھ سکتی تھی۔
ڈیپ لرننگ OCR کو فلیٹ بیڈ اسکینر سے آگے لے جاتی ہے
تصویر والے متن نے مسئلے کو دوبارہ وسیع کر دیا۔ میز پر موجود رسید، دکان کا سائن بورڈ یا کسی زاویے سے لی گئی تصویر میں سائے، تناظر کا بگاڑ اور خلفشار پیدا کرنے والا پس منظر ہو سکتا ہے۔ الفاظ کو پہچاننے سے پہلے، سسٹم کو انہیں تلاش کرنا پڑتا تھا۔ اس لیے ٹیکسٹ ڈیٹیکشن اور ٹیکسٹ ریکگنیشن تحقیق کے قریبی جڑے ہوئے کام بن گئے، جن کا کیمرہ پر مبنی پڑھنے اور ترجمہ کرنے کے ساتھ عملی تعلق ہے۔
ڈیپ لرننگ نے دونوں مراحل کو بہتر بنایا۔ ایک 2015 سین-ٹیکسٹ مقالے نے کنوولیوشنل امیج فیچرز، ریکرنٹ سیکونس پروسیسنگ اور ٹرانسکرپشن کو ایک قابل تربیت شناختی سسٹم میں یکجا کیا۔ فیچر نکالنے اور پڑھنے کو مکمل طور پر الگ الگ ہینڈ کرافٹڈ اجزاء کے طور پر دیکھنے کے بجائے، محققین انہیں ایک ساتھ بہتر بنا سکتے تھے۔ اس نقطہ نظر نے ہر حرف کو الگ کیے بغیر مختلف لمبائی کے الفاظ کو بھی سنبھال لیا۔
بینچ مارکس تیزی سے غیر کنٹرول شدہ کیپچر کے حالات کی عکاسی کرنے لگے۔ 2015 ICDAR Robust Reading Competition نے حادثاتی سین ٹیکسٹ کو شامل کیا، جس سے تشخیص کو ان تصاویر سے آگے بڑھایا گیا جو جان بوجھ کر پڑھنے کے قابل الفاظ کے گرد تیار کی گئی تھیں۔ اس نے ایسے سسٹمز کی حوصلہ افزائی کی جو روزمرہ کی تصاویر میں لوگوں کے سامنے آنے والے متن سے نمٹ سکیں۔ اس نے یہ بھی واضح کیا کہ صاف اسکین شدہ دستاویزات پر کارکردگی وسیع تر بصری دنیا میں قاری کی صلاحیتوں کو مکمل طور پر بیان نہیں کرتی۔
مصنوعی تربیتی ڈیٹا اور کثیر لسانی بینچ مارکس کوریج کو وسیع کرتے ہیں
بہتر سیکھنے کے طریقوں کے لیے زیادہ متنوع مثالوں کی بھی ضرورت تھی۔ مصنوعی تربیتی تصاویر نے محققین کو ہر نئی تصویر کو دستی طور پر لیبل کیے بغیر مختلف فونٹس، سائز، رنگوں اور پس منظر میں متن تیار کرنے کی اجازت دی۔ 2016 میں شائع ہونے والی آکسفورڈ کی تحقیق نے مصنوعی متن کو حقیقی مناظر میں رکھا جبکہ ان کی جیومیٹری کو مدنظر رکھا، جس سے ٹیکسٹ ڈیٹیکشن کے لیے تربیتی مواد کی بڑی مقدار فراہم ہوئی۔ تیار کردہ مثالوں نے خاص تغیرات کو بڑے پیمانے پر پیدا کرنا آسان بنا کر حقیقی تصاویر کی تکمیل کی۔
کثیر لسانی تشخیص متوازی طور پر وسیع ہوئی۔ 2017 ICDAR کثیر لسانی چیلنج میں چھ اسکرپٹس کی نمائندگی کرنے والی نو زبانیں شامل تھیں؛ اس کے 2019 جانشین نے ایک زبان اور اینڈ-ٹو-اینڈ شناختی کام کا اضافہ کیا۔ ان بینچ مارکس نے مخلوط اسکرپٹس، مختلف سمتوں اور تحریری نظاموں کی ایک وسیع رینج کو ایک مشترکہ تشخیصی ماحول میں لایا۔
وسیع تر سبق یہ تھا کہ زبان کی معاونت میں حروف تہجی میں حروف شامل کرنے سے کہیں زیادہ کام شامل تھا۔ سسٹمز کو مناسب تربیتی مثالوں اور ایسے طریقوں کی ضرورت تھی جو مختلف حرفی ڈھانچوں، جڑی ہوئی لکھائی اور پڑھنے کی سمتوں سے نمٹ سکیں۔ مشترکہ ڈیٹا سیٹس نے ایسے فرق کو ماپنا آسان بنا دیا، جبکہ اچھی طرح سے نمائندگی والی زبانوں اور کم مانوس مواد پر کارکردگی کے درمیان خلیج کو بھی ظاہر کیا۔
توجہ اور لے آؤٹ سے آگاہ سیکھنا الفاظ کو صفحے کے ڈھانچے سے جوڑتا ہے
ٹرانسفارمر آرکیٹیکچر، جسے 2017 میں زبان کے کاموں کے لیے متعارف کرایا گیا، نے توجہ (attention) کے ذریعے تسلسل میں تعلقات کو ماڈل کرنے کا ایک طاقتور طریقہ فراہم کیا۔ OCR کے لیے اس کی اہمیت بعد میں متن کی شناخت اور دستاویز کے تجزیے میں ایپلی کیشنز کے ذریعے بڑھی۔ توجہ نے سسٹم کو نتیجہ پیدا کرتے وقت اپنے ان پٹ کے متعلقہ حصوں کو وزن دینے کی اجازت دی، جس نے کنوولیوشنل اور ریکرنٹ نیٹ ورکس کے ساتھ ایک اور طریقہ شامل کیا۔
دستاویزی تحقیق صرف ایک سادہ نقل سے آگے دیکھ رہی تھی۔ دسمبر 2019 میں جمع کرائی گئی اور 2020 میں شائع ہونے والی ایک تحقیق نے پری ٹریننگ کے دوران پہچانے گئے متن کو اس کے صفحے کی پوزیشن کے ساتھ ملایا، پھر مخصوص دستاویزی کاموں کے لیے سسٹم کو ڈھالتے وقت بصری خصوصیات کو شامل کیا۔ مقام اہم تھا کیونکہ ایک ہی الفاظ سرخی، پتے کے بلاک یا فارم کی قطار میں مختلف کردار ادا کر سکتے ہیں۔
اس نے دستاویز کی درجہ بندی اور معلومات نکالنے جیسے کاموں کے ساتھ شناخت کو مربوط کرنے میں مدد کی۔ کسی نمبر کو پڑھنا اور اسے انوائس کے کل کے طور پر شناخت کرنا متعلقہ لیکن الگ الگ عمل ہیں؛ صفحے کی ساخت دوسرے کے لیے اشارے فراہم کرتی ہے۔ لے آؤٹ سے آگاہ طریقوں نے OCR کو غیر ضروری نہیں بنایا۔ انہوں نے اس کے آؤٹ پٹ کو ارد گرد کے بصری ثبوت کے ساتھ استعمال کرنے کے طریقے پیش کیے، جس سے دستاویز کی پروسیسنگ کو الفاظ کے ایک سلسلے کے بجائے عناصر کے درمیان تعلقات کی طرف منتقل کیا گیا۔
ٹرانسفارمرز متن پڑھتے ہیں اور براہ راست دستاویزی نتائج تیار کرتے ہیں
2021 تک، محققین پہلے سے تربیت یافتہ امیج اور ٹیکسٹ ٹرانسفارمرز کو براہ راست شناخت کے لیے لاگو کر رہے تھے۔ ایک شائع شدہ طریقہ کار نے امیج انکوڈر کو ٹیکسٹ ڈیکوڈر کے ساتھ جوڑا اور پرنٹ شدہ، ہاتھ سے لکھے ہوئے اور منظر کے متن کا جائزہ لیا۔ بڑے مجموعوں پر پری ٹریننگ، جس کے بعد کسی مخصوص کام کے لیے تربیت دی گئی، بصری نمونوں کو سیکھنے اور حروف یا الفاظ کی مربوط ترتیب تیار کرنے کا ایک اور راستہ پیش کیا۔
کام کی ایک الگ لائن نے کسی آزاد روایتی OCR انجن کو چلائے بغیر تصاویر سے منظم دستاویزی نتائج پیدا کرنے کی کھوج کی۔ 2021 کے آخر میں متعارف کرائی گئی اور 2022 میں نظر ثانی شدہ تحقیق نے دستاویز کی تفہیم کے لیے اس نقطہ نظر کا مظاہرہ کیا۔ اس کام میں OCR-free کی اصطلاح ایک الگ OCR مرحلے کی عدم موجودگی کو بیان کرتی ہے؛ سسٹم کو اب بھی تصویر سے متعلقہ تحریری معلومات اخذ کرنی ہوتی ہیں۔
ان پیشرفتوں نے دستیاب فن تعمیر کو وسیع کیا۔ ایک پروسیسنگ سسٹم متن کو پہچان سکتا ہے اور پھر اس کا تجزیہ کر سکتا ہے، یا کسی مطلوبہ نتیجے کو براہ راست تیار کرنے کے لیے ماڈل کو تربیت دے سکتا ہے۔ کوئی بھی انتظام ہر صفحے پر درست آؤٹ پٹ کی ضمانت نہیں دیتا۔ انتخاب اس بات کو تبدیل کرتا ہے کہ غلطیاں کہاں داخل ہو سکتی ہیں، نتائج کا معائنہ کیسے کیا جاتا ہے اور درمیانی ثبوت، جیسے پہچانے گئے الفاظ اور ان کی پوزیشن، کو کتنی آسانی سے برقرار رکھا جا سکتا ہے۔
ملٹی موڈل سسٹمز دستاویز پڑھنے کو وسیع کرتے ہیں اور نئے ٹیسٹ اٹھاتے ہیں
حالیہ ملٹی موڈل سسٹمز امیج پروسیسنگ اور زبان کی تخلیق کو یکجا کرتے ہیں، جس سے دستاویز کا متن وسیع تر تعاملات میں حصہ لے سکتا ہے۔ سسٹم اور کام کے لحاظ سے، صارف نقل کی درخواست کر سکتا ہے، کسی صفحے کے بارے میں سوال پوچھ سکتا ہے یا مخصوص فیلڈز نکال سکتا ہے۔ شناخت تیزی سے ایک بڑے دستاویزی ورک فلو کے اندر بیٹھتی ہے، جبکہ سرشار OCR تب مفید رہتا ہے جب بنیادی ضرورت ایک درست، قابل معائنہ نقل ہو۔
تشخیص اسی کے مطابق وسیع ہوئی ہے۔ 2023 میں متعارف کرایا گیا OCRBench، دستاویز کے سوالات، معلومات نکالنے اور ہاتھ سے لکھی ہوئی ریاضیاتی مساوات کے ساتھ شناخت پر غور کرتا ہے۔ اس کا جانشین، جو 2024 کے آخر میں جاری کیا گیا اور 2025 میں نظر ثانی شدہ، نے بصری متن اور استدلال کے کاموں کے ایک وسیع سیٹ کا جائزہ لیا۔ رپورٹ کردہ حدود میں باریک تفصیل، لے آؤٹ، پیچیدہ عناصر اور کم واقف متن شامل تھے، جس سے ظاہر ہوتا ہے کہ درستگی کا ایک دعویٰ دستاویز پڑھنے کی ہر ضرورت کو پورا نہیں کر سکتا۔
یہ وسیع صلاحیت آؤٹ پٹ کے مقصد کو بھی زیادہ اہم بناتی ہے۔ ایک مددگار وضاحت پیرا فریس کر سکتی ہے، جبکہ ایک وفادار نقل کو یہ محفوظ رکھنا چاہیے کہ صفحہ اصل میں کیا کہتا ہے۔ روانی سے الفاظ یہ ثابت نہیں کر سکتے کہ کوئی نام، رقم یا اقتباس صحیح طریقے سے پڑھا گیا تھا۔ سسٹمز کو کام کے مطابق تشخیص کی ضرورت ہوتی ہے، چاہے اس کا مطلب حروف کی درستگی، پڑھنے کی ترتیب، جدول کی ساخت یا نکالی گئی فیلڈ کی درستگی ہو۔
صدی کے دوران، پیش رفت کی سمت کم کنٹرول شدہ ان پٹ اور زیادہ مفید آؤٹ پٹ کی طرف رہی ہے: مقررہ حروف سے لے کر عام پرنٹ، لکھائی، تصاویر اور پیچیدہ دستاویزات تک۔ نئے طریقے قائم شدہ طریقوں کے ساتھ شامل ہوتے رہتے ہیں۔ مرکزی چیلنج قابل شناخت رہتا ہے: بصری ثبوت کو قابل اعتماد معلومات میں تبدیل کرنا جبکہ ان تفصیلات کو محفوظ رکھنا جو اہمیت رکھتی ہیں۔