სინათლე, ხმა და მანქანური კითხვის პირველი მიდგომები
OCR-ის ზოგიერთი ფესვი უკავშირდება მცდელობებს, ბეჭდური ტექსტი ხელმისაწვდომი გამხდარიყო უსინათლო მკითხველებისთვის. 1914 წელს ე. ე. ფურნიე დ'ალბემ აღწერა ტიპის წამკითხველი ოპტოფონი, რომელიც გვერდიდან სინათლის ნიმუშებს გარდაქმნიდა ხმოვან სიგნალებად. მსმენელი სწავლობდა ამ სიგნალების ინტერპრეტაციას. ეს იყო ოპტიკური საკითხავი დამხმარე საშუალება და არა მანქანა, რომელიც ავტომატურად ქმნიდა ტექსტურ ტრანსკრიპტს, მაგრამ მან აჩვენა, რომ ნაბეჭდი ნიშნების აღქმა და სხვა ფორმით წარმოდგენა შესაძლებელი იყო.
სხვა გამომგონებლები ცდილობდნენ სიმბოლოების ავტომატურ იდენტიფიკაციას. გუსტავ ტაუშეკის საკითხავი მანქანის პატენტი, რომელიც წარდგენილი იქნა 1928 წელს და გამოქვეყნდა 1930 წელს, ასახავდა ფოტოელექტრულ შედარებას სიმბოლოების შაბლონებთან. მისი ციფრების წამკითხველი მაგალითი იყენებდა მბრუნავ ამონაჭრებს მოწყობილობისთვის წარდგენილი ფორმის შესამოწმებლად. ამ მიდგომებმა გააერთიანა ოპტიკა, მექანიკური მოძრაობა და ელექტრული სენსორები დიდი ხნით ადრე, სანამ ზოგადი დანიშნულების ციფრული კომპიუტერები გავრცელდებოდა.
ნიშნის აღმოჩენასა და სიმბოლოს იდენტიფიცირებას შორის განსხვავება OCR-ისთვის ცენტრალური დარჩებოდა. გვერდის გადაღება მხოლოდ დასაწყისი იყო: სასარგებლო მკითხველს ასევე სჭირდებოდა მსგავსი ფორმების გარჩევა და თავისი გადაწყვეტილების ისეთი ფორმით გამოხატვა, რომელსაც სხვა მოწყობილობა გამოიყენებდა.
სიმბოლოების წამკითხველები შედიან ბიზნეს ოპერაციებში
1950-იან წლებში ავტომატური კითხვა უფრო დაუახლოვდა ყოველდღიურ ბიზნეს პროცესებს. დევიდ შეპარდის საკითხავი აპარატის პატენტი წარდგენილი იქნა 1951 წელს და გაიცა 1953 წელს. სტანდარტების ეროვნული ბიუროს თანამედროვე კვლევამ დააფიქსირა საწარმოო ინსტალაცია Reader's Digest-ში 1955 წელს. ასეთი სისტემები წყვეტდა პრაქტიკულ შეფერხებას: ქაღალდზე უკვე დაბეჭდილი ინფორმაცია სხვაგვარად ადამიანს უნდა შეეყვანა, სანამ კომპიუტერი დაამუშავებდა მას.
ეს მკითხველები ჩვეულებრივ მუშაობდნენ ბევრად უფრო ვიწრო პირობებში, ვიდრე დღევანდელი ზოგადი დოკუმენტების ხელსაწყოები. შეზღუდულმა სიმბოლოების ნაკრებმა, პროგნოზირებადმა ბეჭდვამ და კონტროლირებადმა განლაგებამ ამოცნობის პრობლემა უფრო მართვადი გახადა. სკანერი, ამოცნობის აპარატურა და გამომავალი მექანიზმი შექმნილი იყო როგორც კოორდინირებული სისტემა, ხშირად დოკუმენტების კონკრეტული კლასისთვის.
ეს იყო მნიშვნელოვანი ცვლილება მიზანსა და მასშტაბში. ოპტიკური კითხვა ხდებოდა ბიზნეს გამოთვლების შეყვანის მეთოდი. წარმატება დამოკიდებული იყო განსაზღვრული სამუშაო დატვირთვის თანმიმდევრულ დამუშავებაზე და არა იმის დემონსტრირებაზე, რომ მანქანას შეეძლო რამდენიმე სიმბოლოს ამოცნობა ლაბორატორიულ პირობებში.
სტანდარტიზებული შრიფტები ნაბეჭდ ტექსტს უფრო ადვილად ამოსაცნობს ხდის
ამოცნობის გაუმჯობესების ერთი გზა იყო შეყვანის უფრო პროგნოზირებადი გახდომა. მანქანით წაკითხვადი შრიფტები, როგორიცაა OCR-A და OCR-B, იყენებდა მითითებულ სიმბოლოების ფორმებსა და ბეჭდვის მოთხოვნებს, რაც ამცირებდა ვარიაციას, რომელიც მკითხველს უნდა გაეუმჯობესებინა. OCR-B გამოჩნდა ECMA-11 სტანდარტში 1965 წელს, შემდგომი გამოცემებით, რომლებიც აზუსტებდნენ სპეციფიკაციას. სტანდარტიზაციამ დაეხმარა აღჭურვილობასა და ნაბეჭდ დოკუმენტებს უფრო თანმიმდევრულად ემუშავათ.
ამ მიდგომამ საინჟინრო ძალისხმევის ნაწილი თავად დოკუმენტზე გადაიტანა. მჭიდროდ კონტროლირებად შრიფტს შეეძლო ციფრი უფრო ადვილად გასარჩევი გაეხადა სხვა ციფრისგან, ხოლო მითითებული ზომები და დაშორებები ამცირებდა გაურკვევლობას სკანირების დროს. კომპრომისი იყო მოქნილობა: მკითხველი, რომელიც შექმნილი იყო კონტროლირებადი ბეჭდვის გარშემო, ავტომატურად ვერ გაუმკლავდებოდა ყველა გაზეთს, წიგნს ან ხელნაწერ ჩანაწერს.
ოპტიკური სიმბოლოების ამოცნობა ასევე უნდა განვასხვავოთ მაგნიტური მელნის სიმბოლოების ამოცნობისგან, ანუ MICR-ისგან. ორივე მხარს უჭერდა დოკუმენტების ავტომატიზაციას, მაგრამ MICR გრძნობს მაგნიტურად წაკითხვად სიმბოლოებს, ხოლო OCR ინტერპრეტირებს მათ ხილულ გამოსახულებას. ორი ტექნოლოგია ერთმანეთის პარალელურად განვითარდა; ისინი არ არის ერთი და იმავე კითხვის პროცესის სხვადასხვა სახელწოდება.
Omnifont-ის ამოცნობა ჩვეულებრივ ბეჭდურ ტექსტს ხელმისაწვდომს ხდის
შემდეგი ამბიცია იყო იმ მასალის წაკითხვა, რომელიც სპეციალურად მანქანისთვის არ იყო დაბეჭდილი. Omnifont-ის ამოცნობა მიზნად ისახავდა ჩვეულებრივი შრიფტების დიაპაზონის დამუშავებას, რაც ამცირებდა დამოკიდებულებას ერთ განსაზღვრულ ანბანზე. სახელწოდება აღწერდა პროგრესის ამ მიმართულებას; ეს არ ნიშნავდა, რომ ყველა შრიფტის, სკანირების ან გვერდის განლაგების წაკითხვა შეცდომის გარეშე იყო შესაძლებელი.
გამორჩეული ეტაპი იყო საკითხავი მანქანა, რომელიც წარადგინეს რეი კურცვაილმა და მისმა გუნდმა 13 წლის 1976 იანვარს. უსინათლოთა ამერიკული ფონდისთვის თავის ზეპირ ისტორიაში კურცვაილი აღწერს სკანირების, სიმბოლოების ამოცნობისა და სინთეზირებული მეტყველების კომბინაციას. ერთად, ამ კომპონენტებმა საშუალება მისცა ნაბეჭდ მასალას გამხდარიყო ხმოვანი გამომავალი, რაც აკავშირებდა ამოცნობას სრულ საკითხავ გამოცდილებასთან.
იგივე ფუნდამენტური მიღწევები ასევე მხარს უჭერდა კომერციულ მონაცემთა შეყვანას. OCR-ის ღირებულება სულ უფრო მეტად იყო დამოკიდებული არსებული დოკუმენტების დამუშავებაზე და არა მხოლოდ მკითხველის შეზღუდვების გარშემო შექმნილ დოკუმენტებზე. ამავდროულად, ამ სისტემებმა აჩვენა, თუ რატომ იყო ცალკეული ასოების ამოცნობა არასაკმარისი: სიტყვები უნდა აწყობილიყო სასარგებლო თანმიმდევრობით, სანამ მათი ხმამაღლა წაკითხვა ან ხელახლა გამოყენება იქნებოდა შესაძლებელი.
სკანირება და OCR ხდება დესკტოპის სამუშაო პროცესის ნაწილი
პერსონალური კომპიუტერებისა და დესკტოპის სკანერების განვითარებასთან ერთად, OCR გასცდა სპეციალიზებულ საკითხავ ინსტალაციებს. აშშ-ის გარემოს დაცვის სააგენტოს 1990 წლის დესკტოპის სკანერების შეფასება უკვე განიხილავდა ტექსტის ამოცნობას, როგორც პრაქტიკულ საოფისე შესაძლებლობას, ადარებდა აღჭურვილობასა და პროგრამულ უზრუნველყოფას ქაღალდის კომპიუტერულ ფაილებად გადასაყვანად. გვერდის სკანირება და მისი ტექსტის ტექსტურ პროცესორში გადატანა გახდა სულ უფრო ხელმისაწვდომი სამუშაო პროცესი.
პროგრამულ უზრუნველყოფას უნდა გაეკეთებინა მეტი, ვიდრე უბრალოდ იზოლირებული სიმბოლოების კლასიფიკაცია. მას სჭირდებოდა ტექსტის სურათებისგან გამიჯვნა, ხაზებისა და სვეტების იდენტიფიცირება, დახრილი სკანირების კომპენსირება და გადაწყვეტა, თუ როგორ წარმოედგინა გვერდი რედაქტირებად დოკუმენტში. გამოსახულების გასუფთავება, განლაგების ანალიზი, ლექსიკონები და კონტექსტური შემოწმებები გახდა ამოცნობის საერთო პროცესის მნიშვნელოვანი ნაწილი. გვერდი შეიძლება შეიცავდეს ძირითადად სწორ ასოებს, მაგრამ მაინც საჭიროებდეს არსებით შეკეთებას, თუ მისი სვეტები ერთმანეთში იყო არეული.
PDF-ის დანერგვამ 1993-ში დაამატა გვერდებზე დაფუძნებული დოკუმენტების გაცვლის პორტატული გზა. PDF იყო დოკუმენტის ფორმატი და არა ამოცნობის მეთოდი, თუმცა მან სასარგებლო ადგილი დაუთმო დასკანერებულ გვერდებსა და მათთან დაკავშირებულ ტექსტს. გვერდის გარეგნობის შენარჩუნება და მისი შიგთავსის საძიებო სისტემისთვის ხელმისაწვდომობა ახლა უკვე ურთიერთშემავსებელი მიზნები გახდა.
ხელნაწერების კვლევა და ნერვული ქსელები ცვლიან ამოცნობას
დესკტოპის ათვისებასთან ერთად, მკვლევარები აუმჯობესებდნენ ნაკლებად პროგნოზირებადი წერის ამოცნობას. NIST-ის OCR პროგრამამ 1989-დან 1998-მდე მოიცვა ხელით ნაბეჭდი ფორმები და განაცხადები, რომლებშიც ჩართული იყო აშშ-ის აღწერის ბიურო და IRS. საჯარო მონაცემთა ბაზებმა და საცნობარო სისტემებმა შესაძლებელი გახადა მეთოდების შედარება საერთო მაგალითების საფუძველზე, ნაცვლად იმისა, რომ დაყრდნობილიყვნენ მხოლოდ საგულდაგულოდ შერჩეული გვერდების დემონსტრაციებზე.
ნერვული ამოცნობა უკვე იყო ამ სამუშაოს მნიშვნელოვანი ნაწილი. 1998-ის ნაშრომმა „გრადიენტზე დაფუძნებული სწავლება, გამოყენებული დოკუმენტების ამოცნობაში“ აღწერა კონვოლუციური ქსელები, რომლებიც მაგალითებიდან სწავლობდნენ სასარგებლო ვიზუალურ მახასიათებლებს, ამოცნობის, სეგმენტაციისა და ენობრივი შეზღუდვების გაერთიანების მეთოდებთან ერთად. ამან გააფართოვა სტატისტიკური შაბლონების ამოცნობის უფრო ფართო ისტორია; ადრეული OCR ასევე მოიცავდა მეთოდებს, რომლებიც სცილდებოდა მარტივი შაბლონების შედარებას.
მაგალითებიდან სწავლამ შესთავაზა გზა შტრიხებისა და სიმბოლოების ფორმების ვარიაციების დასაკმაყოფილებლად. ამან ასევე უფრო მნიშვნელოვანი გახადა სასწავლო მონაცემები და შეფასება. სისტემას შეეძლო კარგად ემუშავა იზოლირებულ ხელნაწერ ციფრებზე, მაგრამ გასჭირვებოდა დაკავშირებული ხელნაწერის ან უცნობი ფორმების შემთხვევაში. პროგრესი ამოცნობის ერთ ამოცანაში ღირებული იყო ისე, რომ ავტომატურად არ წყვეტდა დოკუმენტის ყველა სხვა სახეს.
დიდი ციფრული კოლექციები OCR-ს აღმოჩენის ინსტრუმენტად აქცევს
დიგიტალიზაციის პროექტებმა გააფართოვა OCR-ის როლი გვერდის ხელახალი გამოყენებიდან ინფორმაციის აღმოჩენამდე მთელი კოლექციების მასშტაბით. ბიბლიოთეკებსა და არქივებს შეეძლოთ გაზეთების, წიგნებისა და ჩანაწერების სურათების შენარჩუნება მათი ამოცნობილი ტექსტის ინდექსირებისას. კონგრესის ბიბლიოთეკამ 2007 წლის მარტში წამოიწყო „Chronicling America“, რაც მკვლევარებს აძლევს ისტორიული გაზეთების საძიებო რესურსს.
ამან შეცვალა ის, თუ როგორ უდგებოდნენ ადამიანები არქივს. სახელს, ადგილს ან ფრაზას შეეძლო პირდაპირ მიეყვანა მკითხველი შესაბამის გვერდამდე, ისე რომ არ დასჭირვებოდა თითოეული ნომრის დათვალიერება. OCR გახდა სკანირების, მეტამონაცემების, ინდექსირებისა და მოძიების უფრო დიდი სისტემის ნაწილი. მისი სარგებლიანობა აღარ იზომებოდა მხოლოდ იმით, თუ რამდენად ჰგავდა ექსპორტირებული დოკუმენტი თავის წყაროს.
ისტორიულმა მასალამ ასევე გამოავლინა მუდმივი სისუსტეები: დაზიანებული ქაღალდი, ძველი შრიფტები, არარეგულარული დაშორება და რთული სვეტები. ამოცნობის შეცდომებს შეეძლო დაეფარა შესაბამისი საძიებო შედეგი ან გამოეწვია შეცდომაში შემყვანი დამთხვევა. ორიგინალი გვერდის შენარჩუნებამ მანქანურად გენერირებულ ტექსტთან ერთად მკითხველს საშუალება მისცა გადაემოწმებინა აღმოჩენები და ამოცნობის გაუმჯობესება აქცია არსებული ციფრული კოლექციის გამდიდრების გზად, ყოველი ელემენტის ხელახალი სკანირების გარეშე.
მთლიანი მიმდევრობების კითხვა თითოეული სიმბოლოს გამოყოფის გარეშე
ხელნაწერების ამოცნობაში დიდი ხნის სირთულეს წარმოადგენდა იმის გადაწყვეტა, თუ სად მთავრდებოდა ერთი სიმბოლო და სად იწყებოდა მეორე. დაკავშირებულმა შტრიხებმა და გადამფარავმა ასოებმა „ჯერ გაჭრა, შემდეგ კლასიფიკაცია“ პროცესი მყიფე გახადა. სტატისტიკური მიმდევრობის მეთოდებმა, მათ შორის ფარულმა მარკოვის მოდელებმა, უკვე გადაჭრეს ეს პრობლემა. განმეორებადმა ნერვულმა ქსელებმა შესთავაზეს სხვა გზა მეზობელი ინფორმაციის გამოსაყენებლად სტრიქონის ინტერპრეტაციისას. გრძელვადიანი მოკლევადიანი მეხსიერების (LSTM) ქსელებმა, განმეორებადი ქსელის ტიპმა, დაეხმარა კონტექსტის შენარჩუნებაში მთელი მიმდევრობის განმავლობაში, ნაცვლად თითოეული მცირე რეგიონის დამოუკიდებლად შეფასებისა.
Connectionist Temporal Classification-მა, რომელიც დაინერგა 2006-ში, უზრუნველყო სასწავლო მეთოდი შეყვანილი მიმდევრობების ტექსტურ ეტიკეტებთან შესატყვისად, ყოველი სიმბოლოს პოზიციის წინასწარ მონიშვნის გარეშე. ორიგინალურმა ნაშრომმა შეაფასა მეტყველება, ხოლო შემდგომმა მუშაობამ ეს მიდგომა ხელნაწერებზე გამოიყენა. 2009 წლის ნაშრომმა გააერთიანა მიმდევრობის სწავლება განმეორებად ქსელებთან, რომლებიც იყენებდნენ კონტექსტს ორივე მიმართულებიდან შეუზღუდავი ხელნაწერი სტრიქონების ამოსაცნობად.
ამან შეამცირა დამოკიდებულება სიმბოლოების სრულყოფილ სეგმენტაციაზე და ხელი შეუწყო სტრიქონის დონის ამოცნობის უფრო პრაქტიკულობას. მან არ მოხსნა მოსამზადებელი ყველა ნაბიჯი: სისტემას მაინც შეიძლება დასჭირვებოდა ტექსტის პოვნა, სტრიქონების იდენტიფიცირება და გვერდის ორიენტაციის დამუშავება. მნიშვნელოვანი ცვლილება იყო ის, რომ ამოცნობას შეეძლო ესწავლა შესაბამისობა გამოსახულების მიმდევრობასა და მის ტრანსკრიპტს შორის, ნაცვლად იმისა, რომ წინასწარ მიეღო სიმბოლოების ყველა საზღვარი.
ღრმა სწავლება OCR-ს ბრტყელი სკანერის მიღმა გადაჰყავს
ფოტოგრაფირებულმა ტექსტმა კვლავ გააფართოვა პრობლემა. მაგიდაზე დადებულ ქვითარს, მაღაზიის აბრას ან კუთხით გადაღებულ გვერდს შეიძლება ჰქონდეს ჩრდილები, პერსპექტივის დამახინჯება და ყურადღების გამფანტველი ფონი. სიტყვების ამოცნობამდე სისტემას მათი პოვნა უწევდა. ამიტომ, ტექსტის აღმოჩენა და ტექსტის ამოცნობა მჭიდროდ დაკავშირებული კვლევითი ამოცანები გახდა, რაც პრაქტიკულად მნიშვნელოვანია კამერაზე დაფუძნებული კითხვისა და თარგმნისთვის.
ღრმა სწავლებამ ორივე ეტაპი გააუმჯობესა. 2015-ის სცენის ტექსტის ნაშრომმა გააერთიანა კონვოლუციური გამოსახულების მახასიათებლები, განმეორებადი მიმდევრობის დამუშავება და ტრანსკრიფცია ერთ სასწავლო ამოცნობის სისტემაში. ნაცვლად იმისა, რომ მახასიათებლების ამოღება და კითხვა სრულიად ცალკეულ, ხელით შექმნილ კომპონენტებად განეხილათ, მკვლევარებს შეეძლოთ მათი ერთად ოპტიმიზაცია. მიდგომამ ასევე გაუმკლავდა სხვადასხვა სიგრძის სიტყვებს თითოეული ასოს იზოლირების გარეშე.
სტანდარტებმა სულ უფრო მეტად ასახა უკონტროლო გადაღების პირობები. 2015-ის ICDAR-ის „Robust Reading“-ის კონკურსმა დაამატა შემთხვევითი სცენის ტექსტი, რითაც შეფასება გააფართოვა იმ სურათების მიღმა, რომლებიც მიზანმიმართულად იყო ჩარჩოში ჩასმული წაკითხვადი სიტყვების გარშემო. ამან წაახალისა ისეთი სისტემები, რომლებსაც შეეძლოთ გაუმკლავებოდნენ ტექსტს, რომელსაც ადამიანები ყოველდღიურ ფოტოებში ხვდებიან. მან ასევე ნათელი გახადა, რომ სუფთა დასკანერებულ დოკუმენტებზე შესრულება სრულად არ აღწერდა მკითხველის შესაძლებლობებს უფრო ფართო ვიზუალურ სამყაროში.
სინთეზური სასწავლო მონაცემები და მრავალენოვანი სტანდარტები აფართოებს დაფარვას
სწავლების უკეთეს მეთოდებს ასევე სჭირდებოდა უფრო მრავალფეროვანი მაგალითები. სინთეზურმა სასწავლო სურათებმა მკვლევარებს საშუალება მისცა შეექმნათ ტექსტი სხვადასხვა შრიფტით, ზომით, ფერითა და ფონით, ყოველი ახალი ფოტოს ხელით მონიშვნის გარეშე. 2016-ში გამოქვეყნებულმა ოქსფორდის კვლევამ ხელოვნური ტექსტი რეალურ სცენებში მოათავსა მათი გეომეტრიის გათვალისწინებით, რაც უზრუნველყოფდა სასწავლო მასალის დიდ რაოდენობას ტექსტის აღმოჩენისთვის. გენერირებული მაგალითები ავსებდა რეალურ სურათებს, რაც კონკრეტული ვარიაციების მასშტაბურად წარმოებას აადვილებდა.
მრავალენოვანი შეფასება პარალელურად გაფართოვდა. 2017-ის ICDAR-ის მრავალენოვანმა გამოწვევამ მოიცვა ცხრა ენა, რომლებიც წარმოადგენდნენ ექვს დამწერლობას; მისმა 2019 მემკვიდრემ დაამატა ენა და „ბოლოდან ბოლომდე“ ამოცნობის ამოცანა. ამ სტანდარტებმა შერეული დამწერლობები, სხვადასხვა ორიენტაცია და წერის სისტემების უფრო ფართო სპექტრი საერთო შეფასების გარემოში მოიტანა.
უფრო ფართო გაკვეთილი იყო ის, რომ ენობრივი მხარდაჭერა მოიცავდა ბევრად მეტს, ვიდრე ანბანისთვის სიმბოლოების დამატებას. სისტემებს სჭირდებოდათ შესაბამისი სასწავლო მაგალითები და მეთოდები, რომლებსაც შეეძლოთ გაუმკლავებოდნენ სიმბოლოების სხვადასხვა სტრუქტურას, დაკავშირებულ წერასა და კითხვის მიმართულებებს. საერთო მონაცემთა ბაზებმა გააადვილა ასეთი განსხვავებების გაზომვა, ამავდროულად გამოავლინა ხარვეზები კარგად წარმოდგენილ ენებსა და ნაკლებად ნაცნობ მასალას შორის შესრულებას შორის.
ყურადღება და განლაგების გათვითცნობიერებული სწავლება აკავშირებს სიტყვებს გვერდის სტრუქტურასთან
ტრანსფორმატორის არქიტექტურამ, რომელიც დაინერგა 2017-ში ენობრივი ამოცანებისთვის, უზრუნველყო ძლიერი გზა მიმდევრობის მასშტაბით ურთიერთობების მოდელირებისთვის ყურადღების მეშვეობით. მისი მნიშვნელობა OCR-ისთვის განვითარდა ტექსტის ამოცნობასა და დოკუმენტების ანალიზში შემდგომი გამოყენების გზით. ყურადღებამ სისტემას საშუალება მისცა აეწონა თავისი შეყვანის შესაბამისი ნაწილები შედეგის წარმოებისას, რაც დაამატა კიდევ ერთი მიდგომა კონვოლუციურ და განმეორებად ქსელებთან ერთად.
დოკუმენტების კვლევა მხოლოდ მარტივი ტრანსკრიპტის მიღმაც იყურებოდა. 2019 წლის დეკემბერში წარდგენილმა და 2020 წელს გამოქვეყნებულმა კვლევამ, წინასწარი წვრთნის დროს ამოცნობილი ტექსტი მის გვერდზე არსებულ პოზიციას დაუკავშირა, შემდეგ კი სისტემის კონკრეტულ დოკუმენტურ ამოცანებზე ადაპტირებისას ვიზუალური მახასიათებლებიც გაითვალისწინა. მდებარეობას მნიშვნელობა ჰქონდა, რადგან ერთსა და იმავე სიტყვას შეიძლება განსხვავებული როლი ჰქონდეს სათაურში, მისამართის ბლოკში ან ფორმის სტრიქონში.
ამან ხელი შეუწყო ამოცნობის დაკავშირებას ისეთ ამოცანებთან, როგორიცაა დოკუმენტების კლასიფიკაცია და ინფორმაციის ამოღება. რიცხვის წაკითხვა და მისი ინვოისის ჯამად იდენტიფიცირება დაკავშირებული, მაგრამ განსხვავებული ოპერაციებია; გვერდის სტრუქტურა მეორე ოპერაციისთვის მინიშნებებს იძლევა. განლაგების გამთვალისწინებელმა მეთოდებმა OCR არ გახადა ზედმეტი. მათ შესთავაზეს მისი შედეგის გამოყენების გზები მიმდებარე ვიზუალურ მტკიცებულებებთან ერთად, რაც დოკუმენტების დამუშავებას სიტყვების ერთიანი ნაკადიდან ელემენტებს შორის ურთიერთობებისკენ მიმართავს.
ტრანსფორმერები კითხულობენ ტექსტს და პირდაპირ ქმნიან დოკუმენტის შედეგებს
2021 წლისთვის მკვლევარები წინასწარ გაწვრთნილ გამოსახულებისა და ტექსტის ტრანსფორმერებს პირდაპირ ამოცნობისთვის იყენებდნენ. ერთ-ერთმა გამოქვეყნებულმა მიდგომამ გამოსახულების ენკოდერი ტექსტის დეკოდერთან დააწყვილა და შეაფასა ნაბეჭდი, ხელნაწერი და სცენის ტექსტი. დიდ კოლექციებზე წინასწარმა წვრთნამ, რასაც მოჰყვა უფრო კონკრეტული ამოცანისთვის წვრთნა, ვიზუალური შაბლონების შესწავლისა და თანმიმდევრული სიმბოლოების ან სიტყვების მიმდევრობების შექმნის კიდევ ერთი გზა შესთავაზა.
კვლევის ცალკეულმა მიმართულებამ შეისწავლა სტრუქტურირებული დოკუმენტის შედეგების გენერირება გამოსახულებებიდან, დამოუკიდებელი ჩვეულებრივი OCR ძრავის გაშვების გარეშე. 2021 წლის ბოლოს წარდგენილმა და 2022 წელს გადამუშავებულმა კვლევამ ეს მიდგომა დოკუმენტების გააზრებისთვის წარმოადგინა. ტერმინი OCR-free ამ ნაშრომში აღწერს ცალკეული OCR ეტაპის არარსებობას; სისტემამ მაინც უნდა ამოიღოს შესაბამისი წერილობითი ინფორმაცია გამოსახულებიდან.
ამ განვითარებებმა გააფართოვა ხელმისაწვდომი არქიტექტურები. დამუშავების სისტემამ შეიძლება ამოიცნოს ტექსტი და შემდეგ გააანალიზოს იგი, ან გაწვრთნას მოდელი მოთხოვნილი შედეგის პირდაპირ მისაღებად. არცერთი მოწყობა არ იძლევა გარანტიას, რომ თითოეულ გვერდზე უშეცდომო შედეგი იქნება. არჩევანი ცვლის იმას, თუ სად შეიძლება შეცდომები შემოიჭრას, როგორ მოწმდება შედეგები და რამდენად ადვილად შეიძლება შუალედური მტკიცებულებების, როგორიცაა ამოცნობილი სიტყვები და მათი პოზიციები, შენარჩუნება.
მულტიმოდალური სისტემები აფართოებენ დოკუმენტების კითხვას და ახალ გამოცდებს აყენებენ
უახლესი მულტიმოდალური სისტემები აერთიანებს გამოსახულების დამუშავებასა და ენის გენერირებას, რაც დოკუმენტის ტექსტს საშუალებას აძლევს მონაწილეობა მიიღოს უფრო ფართო ურთიერთქმედებებში. სისტემისა და ამოცანის მიხედვით, მომხმარებელს შეუძლია მოითხოვოს ტრანსკრიფცია, დასვას შეკითხვა გვერდის შესახებ ან ამოიღოს კონკრეტული ველები. ამოცნობა სულ უფრო მეტად ექცევა დოკუმენტების უფრო ფართო სამუშაო პროცესში, ხოლო სპეციალიზებული OCR სასარგებლო რჩება მაშინ, როდესაც მთავარი მოთხოვნა არის ზუსტი, შესამოწმებელი ტრანსკრიპტი.
შეფასებაც შესაბამისად გაფართოვდა. OCRBench-მა, რომელიც 2023 წელს დაინერგა, განიხილა ამოცნობა დოკუმენტებთან დაკავშირებულ შეკითხვებთან, ინფორმაციის ამოღებასთან და ხელნაწერ მათემატიკურ გამოსახულებებთან ერთად. მისმა მემკვიდრემ, რომელიც 2024 წლის ბოლოს გამოვიდა და 2025 წელს გადაიხედა, შეისწავლა ვიზუალური ტექსტისა და მსჯელობის ამოცანების უფრო ფართო სპექტრი. დაფიქსირებული შეზღუდვები მოიცავდა წვრილ დეტალებს, განლაგებას, კომპლექსურ ელემენტებს და ნაკლებად ნაცნობ ტექსტს, რაც აჩვენებს, თუ რატომ ვერ ფარავს სიზუსტის ერთი განაცხადი დოკუმენტის კითხვის ყველა მოთხოვნას.
ეს უფრო ფართო შესაძლებლობა შედეგის მიზანსაც უფრო მნიშვნელოვანს ხდის. სასარგებლო ახსნა-განმარტება შეიძლება იყოს პერიფრაზი, ხოლო სანდო ტრანსკრიპტმა უნდა შეინარჩუნოს ის, რაც გვერდზე რეალურად წერია. თავისუფალი ფორმულირება ვერ დაადგენს, სწორად იქნა თუ არა წაკითხული სახელი, თანხა ან ციტატა. სისტემებს სჭირდებათ ამოცანისთვის შესაფერისი შეფასება, იქნება ეს სიმბოლოების სიზუსტე, კითხვის თანმიმდევრობა, ცხრილის სტრუქტურა თუ ამოღებული ველის სისწორე.
საუკუნის განმავლობაში პროგრესის მიმართულება იყო ნაკლებად კონტროლირებადი შეყვანისა და უფრო სასარგებლო გამომავალი მონაცემებისკენ: დადგენილი სიმბოლოებიდან ჩვეულებრივ ბეჭდურ ტექსტამდე, ხელნაწერამდე, ფოტოებამდე და კომპლექსურ დოკუმენტებამდე. ახალი მიდგომები აგრძელებენ დამკვიდრებულებთან შეერთებას. ცენტრალური გამოწვევა კვლავ ნაცნობია: ვიზუალური მტკიცებულებების სანდო ინფორმაციად გადაქცევა იმ დეტალების შენარჩუნებით, რომლებსაც მნიშვნელობა აქვს.