אור, קול והגישות הראשונות לקריאה ממוחשבת
חלק משורשי ה-OCR טמונים בניסיונות להנגיש דפוס לקוראים עיוורים. בשנת 1914, א. א. פורנייה ד'אלב תיאר אופטופון לקריאת סוגי דפוס, שהמיר דפוסי אור מדף לאותות קוליים. המאזין למד לפרש את האותות הללו. זה היה עזר קריאה אופטי, ולא מכונה שהפיקה אוטומטית תמלול טקסט, אך הוא הוכיח שניתן לחוש סימנים מודפסים ולייצג אותם בצורה אחרת.
ממציאים אחרים חיפשו זיהוי תווים אוטומטי. הפטנט של גוסטב טאושק למכונת קריאה, שהוגש ב-1928 ופורסם ב-1930, הציג השוואה פוטואלקטרית עם תבניות תווים. דוגמת קריאת הספרות שלו השתמשה בחיתוכים מסתובבים כדי לבדוק את הצורה שהוצגה למכשיר. גישות אלו חיברו אופטיקה, תנועה מכנית וחיישנים חשמליים הרבה לפני שמחשבים דיגיטליים לשימוש כללי הפכו לנפוצים.
ההבחנה בין זיהוי סימן לבין זיהוי תו נותרה מרכזית ב-OCR. לכידת הדף הייתה רק ההתחלה: קורא שימושי היה צריך גם להבחין בין צורות דומות ולהביע את החלטתו בצורה שמכשיר אחר יוכל להשתמש בה.
קוראי תווים נכנסים לפעילות עסקית
במהלך שנות ה-1950, הקריאה האוטומטית התקרבה לעיבוד עסקי יומיומי. הפטנט של דייוויד שפרד למכשיר קריאה הוגש ב-1951 ואושר ב-1953. סקר עכשווי של הלשכה הלאומית לתקנים תיעד התקנה ב-Reader's Digest בשנת 1955. מערכות כאלו טיפלו בצוואר בקבוק מעשי: מידע שכבר הודפס על נייר היה צריך להיות מוזן מחדש על ידי אדם לפני שמחשב יכול היה לעבד אותו.
קוראים אלו עבדו בדרך כלל בתנאים מצומצמים בהרבה מכלי המסמכים הכלליים של ימינו. סט תווים מוגבל, הדפסה צפויה ומיקום מבוקר הפכו את בעיית הזיהוי לניתנת לניהול. הסורק, חומרת הזיהוי ומנגנון הפלט תוכננו כמערכת מתואמת, לעיתים קרובות עבור סוג מסוים של מסמכים.
זה היה שינוי משמעותי במטרה ובהיקף. קריאה אופטית הפכה לשיטת קלט עבור מחשוב עסקי. ההצלחה הייתה תלויה בעיבוד עקבי של עומס עבודה מוגדר, ולא בהוכחה שמכונה יכולה לזהות כמה תווים בתנאי מעבדה.
גופנים סטנדרטיים הופכים טקסט מודפס לקל יותר לזיהוי
דרך אחת לשפר את הזיהוי הייתה להפוך את הקלט לצפוי יותר. גופנים קריאים למכונה כגון OCR-A ו-OCR-B השתמשו בצורות תווים ודרישות הדפסה מוגדרות, מה שהפחית את השונות שהקורא היה צריך להתמודד איתה. OCR-B הופיע בתקן ECMA-11 בשנת 1965, כאשר מהדורות מאוחרות יותר שיכללו את המפרט. סטנדרטיזציה עזרה לציוד ולמסמכים מודפסים לעבוד יחד בצורה עקבית יותר.
גישה זו הציבה חלק מהמאמץ ההנדסי על המסמך עצמו. גופן מבוקר היטב יכול להפוך ספרה לקלה יותר להבחנה מספרה אחרת, בעוד שמידות ומרווחים מוגדרים הפחיתו את אי-הוודאות במהלך הסריקה. הפשרה הייתה גמישות: קורא שתוכנן סביב דפוס מבוקר לא יכול היה לטפל אוטומטית בכל עיתון, ספר או פתק בכתב יד.
יש להבחין בין זיהוי תווים אופטי לבין זיהוי תווים בדיו מגנטית, או MICR. שניהם תמכו באוטומציה של מסמכים, אך MICR חש תווים קריאים מגנטית, בעוד ש-OCR מפרש את התמונה הנראית שלהם. שתי הטכנולוגיות התפתחו זו לצד זו; הן אינן שמות שונים לאותו תהליך קריאה.
זיהוי 'אומניפונט' מנגיש דפוס רגיל
השאיפה הבאה הייתה לקרוא חומר שלא הודפס במיוחד עבור מכונה. זיהוי 'אומניפונט' נועד לטפל במגוון גופנים רגילים, מה שהפחית את התלות באלפבית יחיד ומוגדר. השם תיאר את כיוון ההתקדמות הזה; הוא לא אמר שניתן לקרוא כל גופן, סריקה או פריסת דף ללא שגיאות.
אבן דרך בולטת הייתה מכונת הקריאה שהוצגו על ידי ריי קורצווייל וצוותו ב-13 בינואר 1976. בהיסטוריה שבעל פה עבור הקרן האמריקאית לעיוורים, מתאר קורצווייל את השילוב של סריקה, זיהוי תווים ודיבור מסונתז. יחד, רכיבים אלו אפשרו לחומר מודפס להפוך לפלט קולי, ובכך חיברו בין זיהוי לבין חוויית קריאה מלאה.
אותן התקדמויות בסיסיות תמכו גם בהזנת נתונים מסחרית. הערך של OCR היה תלוי יותר ויותר בטיפול במסמכים קיימים, לא רק במסמכים שתוכננו סביב מגבלות הקורא. במקביל, מערכות אלו הראו מדוע זיהוי אותיות בודדות אינו מספיק: היה צורך להרכיב מילים בסדר שימושי לפני שניתן היה להקריא אותן בקול או לעשות בהן שימוש חוזר.
סריקה ו-OCR הופכים לחלק מזרימת העבודה השולחנית
ככל שמחשבים אישיים וסורקים שולחניים התפתחו, OCR עבר מעבר להתקנות קריאה ייעודיות. הערכה של הסוכנות להגנת הסביבה של ארה"ב משנת 1990 לסורקים שולחניים כבר התייחסה לזיהוי טקסט כיכולת משרדית מעשית, והשוותה ציוד ותוכנה להמרת נייר לקבצי מחשב שמישים. סריקת דף והעברת הטקסט שלו למעבד תמלילים הפכה לזרימת עבודה נגישה יותר ויותר.
התוכנה הייתה צריכה לעשות יותר מאשר לסווג תווים מבודדים. היא הייתה צריכה להפריד טקסט מתמונות, לזהות שורות ועמודות, לפצות על סריקות מוטות ולהחליט כיצד לייצג את הדף במסמך הניתן לעריכה. ניקוי תמונה, ניתוח פריסה, מילונים ובדיקות הקשריות הפכו לחלקים חשובים בתהליך הזיהוי הכולל. דף יכול היה להכיל בעיקר אותיות נכונות ועדיין לדרוש תיקון משמעותי אם העמודות שלו היו מעורבבות.
הצגת PDF ב-1993 הוסיפה דרך ניידת להחלפת מסמכים מבוססי דפים. PDF היה פורמט מסמכים, לא שיטת זיהוי, אך הוא סיפק בית שימושי לדפים סרוקים וטקסט נלווה. שימור המראה של דף והפיכת תוכנו לניתן לחיפוש הפכו כעת למטרות משלימות.
מחקר כתב יד ורשתות עצביות משנים את הזיהוי
לצד האימוץ השולחני, חוקרים שיפרו את הזיהוי של כתב פחות צפוי. תוכנית OCR של NIST מ-1989 עד 1998 כללה טפסים ובקשות בכתב יד שכללו את לשכת מפקד האוכלוסין של ארה"ב ואת ה-IRS. מאגרי נתונים ציבוריים ומערכות ייחוס אפשרו להשוות שיטות מול דוגמאות משותפות, במקום להסתמך רק על הדגמות עם דפים שנבחרו בקפידה.
זיהוי עצבי כבר היה חלק חשוב מעבודה זו. המאמר 1998 בנושא למידה מבוססת גרדיאנט המיושמת על זיהוי מסמכים תיאר רשתות קונבולוציה שלמדו מאפיינים חזותיים שימושיים מתוך דוגמאות, יחד עם שיטות לשילוב זיהוי, סגמנטציה ואילוצי שפה. זה הרחיב היסטוריה רחבה יותר של זיהוי תבניות סטטיסטי; OCR מוקדמים יותר כללו גם שיטות מעבר להתאמת תבניות פשוטה.
למידה מתוך דוגמאות הציעה דרך להתאים וריאציות במשיכות ובצורות תווים. היא גם הפכה את נתוני האימון וההערכה לחשובים יותר. מערכת יכולה לתפקד היטב על ספרות בכתב יד מבודדות אך להתקשות עם כתב יד מחובר או טפסים לא מוכרים. התקדמות במשימת זיהוי אחת הייתה בעלת ערך מבלי לפתור אוטומטית כל סוג אחר של מסמך.
אוספים דיגיטליים גדולים הופכים את OCR לכלי גילוי
פרויקטי דיגיטציה הרחיבו את תפקידו של OCR משימוש חוזר בדף לגילוי מידע על פני אוספים שלמים. ספריות וארכיונים יכלו לשמר תמונות של עיתונים, ספרים ורשומות תוך אינדוקס הטקסט המזוהה שלהם. ספריית הקונגרס השיקה את Chronicling America במרץ 2007, מה שהעניק לחוקרים משאב שניתן לחיפוש עבור עיתונים היסטוריים.
זה שינה את האופן שבו אנשים ניגשו לארכיון. שם, מקום או ביטוי יכלו להוביל ישירות לדף רלוונטי מבלי לדרוש מהקורא לבדוק כל גיליון. OCR הפך לחלק ממערכת גדולה יותר של סריקה, מטא-דאטה, אינדוקס ואחזור. התועלת שלו לא נמדדה עוד רק לפי כמה מסמך מיוצא דמה למקור שלו.
חומר היסטורי חשף גם חולשות מתמשכות: נייר פגום, גופנים ישנים, מרווחים לא סדירים ועמודות מורכבות. שגיאות זיהוי עלולות להסתיר תוצאת חיפוש רלוונטית או לייצר התאמה מטעה. שמירת הדף המקורי לצד טקסט שנוצר על ידי מכונה אפשרה לקוראים לאמת תגליות, והפכה זיהוי משופר לדרך להעשיר אוסף דיגיטלי קיים מבלי לסרוק מחדש כל פריט.
קריאת רצפים שלמים מבלי להפריד כל תו
קושי ארוך שנים בזיהוי כתב יד היה ההחלטה היכן מסתיים תו אחד והיכן מתחיל הבא. משיכות מחוברות ותווים חופפים הפכו תהליך קפדני של חיתוך-ואז-סיווג לשברירי. שיטות רצף סטטיסטיות, כולל מודלים של מרקוב חבויים, כבר התייחסו לבעיה זו. רשתות עצביות חוזרות הציעו דרך נוספת להשתמש במידע שכנה תוך פירוש שורה. רשתות זיכרון לטווח קצר ארוך (LSTM), סוג של רשת חוזרת, עזרו לשמר הקשר לאורך רצף במקום לשפוט כל אזור קטן באופן עצמאי.
סיווג זמני קונקציוניסטי (CTC), שהוצג ב-2006, סיפק שיטת אימון להתאמת רצפי קלט לתוויות טקסט מבלי לדרוש את סימון המיקום של כל תו מראש. המאמר המקורי העריך דיבור, בעוד עבודה מאוחרת יותר יישמה את הגישה לכתב יד. מאמר 2009 שילב אימון רצף עם רשתות חוזרות שהשתמשו בהקשר משני הכיוונים כדי לזהות שורות בכתב יד לא מוגבל.
זה הפחית את התלות בסגמנטציה מושלמת תו-אחר-תו ועזר להפוך זיהוי ברמת שורה למעשי יותר. זה לא הסיר כל שלב הכנה: מערכת עדיין עשויה להזדקק לאיתור הטקסט, זיהוי שורות וטיפול בכיוון הדף. השינוי החשוב היה שזיהוי יכול ללמוד יישור בין רצף תמונה לתמלול שלו במקום לקבל כל גבול תו מראש.
למידה עמוקה לוקחת את OCR מעבר לסורק השטוח
טקסט מצולם הרחיב את הבעיה שוב. קבלה על שולחן, שלט חנות או דף שצולם בזווית עלולים להכיל צללים, עיוות פרספקטיבה ורקע מסיח דעת. לפני זיהוי המילים, מערכת הייתה צריכה למצוא אותן. לכן, זיהוי טקסט וזיהוי טקסט הפכו למשימות מחקר קשורות קשר הדוק, עם רלוונטיות מעשית לקריאה ותרגום מבוססי מצלמה.
למידה עמוקה שיפרה את שני השלבים. מאמר טקסט בסצנה 2015 שילב מאפייני תמונה קונבולוציוניים, עיבוד רצף חוזר ותמלול במערכת זיהוי אחת הניתנת לאימון. במקום להתייחס לחילוץ מאפיינים וקריאה כרכיבים נפרדים שנעשו בעבודת יד, חוקרים יכלו לבצע אופטימיזציה שלהם יחד. הגישה גם טיפלה במילים באורכים שונים מבלי לבודד תחילה כל אות.
מדדי ביצועים שיקפו יותר ויותר תנאי לכידה לא מבוקרים. תחרות הקריאה החסונה של ICDAR 2015 הוסיפה טקסט סצנה מקרי, והרחיבה את ההערכה מעבר לתמונות שמוסגרו בכוונה סביב מילים קריאות. זה עודד מערכות שיכולות להתמודד עם הטקסט שאנשים נתקלים בו בתצלומים יומיומיים. זה גם הבהיר שביצועים על מסמכים סרוקים נקיים לא תיארו במלואם את היכולות של קורא בעולם החזותי הרחב יותר.
נתוני אימון סינתטיים ומדדי ביצועים רב-לשוניים מרחיבים את הכיסוי
שיטות למידה טובות יותר דרשו גם דוגמאות מגוונות יותר. תמונות אימון סינתטיות אפשרו לחוקרים ליצור טקסט בגופנים, גדלים, צבעים ורקעים שונים מבלי לתייג ידנית כל תצלום חדש. מחקר מאוקספורד שפורסם ב-2016 הציב טקסט מלאכותי בסצנות אמיתיות תוך התחשבות בגיאומטריה שלהן, מה שסיפק כמויות גדולות של חומר אימון לזיהוי טקסט. דוגמאות שנוצרו השלימו תמונות אמיתיות על ידי הפיכת וריאציות מסוימות לקלות יותר לייצור בקנה מידה.
הערכה רב-לשונית התרחבה במקביל. אתגר ה-ICDAR הרב-לשוני 2017 כלל תשע שפות המייצגות שישה כתבים; היורש שלו מ-2019 הוסיף שפה ומשימת זיהוי מקצה לקצה. מדדי ביצועים אלו הביאו כתבים מעורבים, כיוונים שונים ומגוון רחב יותר של מערכות כתיבה להגדרת הערכה משותפת.
הלקח הרחב יותר היה שתמיכה בשפה כרוכה בהרבה יותר מאשר הוספת תווים לאלפבית. מערכות נזקקו לדוגמאות אימון מתאימות ושיטות שיכולות להתמודד עם מבני תווים שונים, כתיבה מחוברת וכיווני קריאה. מאגרי נתונים משותפים הפכו הבדלים כאלה לקלים יותר למדידה, תוך חשיפת פערים בין ביצועים בשפות מיוצגות היטב לבין חומר פחות מוכר.
למידה מבוססת קשב ומודעת למבנה מחברת בין מילים למבנה הדף
ארכיטקטורת הטרנספורמר, שהוצגה ב-2017 עבור משימות שפה, סיפקה דרך עוצמתית למדל קשרים לאורך רצף באמצעות קשב. חשיבותה ל-OCR התפתחה דרך יישומים מאוחרים יותר לזיהוי טקסט וניתוח מסמכים. קשב אפשר למערכת לשקול חלקים רלוונטיים מהקלט שלה תוך הפקת תוצאה, והוסיף גישה נוספת לצד רשתות קונבולוציה ורשתות חוזרות.
מחקר מסמכים חיפש מעבר לתמלול פשוט. מחקר שהוגש בדצמבר 2019 ופורסם ב-2020 שילב טקסט מזוהה עם מיקומו בדף במהלך אימון מוקדם, ולאחר מכן שילב מאפיינים חזותיים בעת התאמת המערכת למשימות מסמכים ספציפיות. המיקום היה חשוב מכיוון שאותן מילים יכולות למלא תפקידים שונים בכותרת, בבלוק כתובת או בשורה בטופס.
דבר זה סייע בחיבור הזיהוי למשימות כגון סיווג מסמכים וחילוץ מידע. קריאת מספר וזיהויו כסכום חשבונית הן פעולות קשורות אך נפרדות; מבנה הדף מספק רמזים עבור השנייה. שיטות מודעות למבנה (Layout-aware) לא הפכו את OCR למיותר. הן הציעו דרכים להשתמש בפלט שלו יחד עם הראיות החזותיות שמסביב, והעבירו את עיבוד המסמכים לעבר יחסים בין אלמנטים במקום זרם בודד של מילים.
מודלי Transformer קוראים טקסט ומייצרים תוצאות מסמך ישירות
עד 2021, חוקרים יישמו מודלי Transformer של תמונה וטקסט שעברו אימון מוקדם ישירות על זיהוי. גישה אחת שפורסמה שילבה מקודד תמונה עם מפענח טקסט והעריכה טקסט מודפס, בכתב יד וטקסט בסצנות. אימון מוקדם על אוספים גדולים, ולאחריו אימון למשימה ספציפית יותר, הציע נתיב נוסף ללמידת דפוסים חזותיים והפקת רצפי תווים או מילים קוהרנטיים.
קו עבודה נפרד חקר הפקת תוצאות מסמך מובנות מתמונות מבלי להריץ תחילה מנוע OCR קונבנציונלי עצמאי. מחקר שהוצג בסוף 2021 ועודכן ב-2022 הדגים גישה זו להבנת מסמכים. המונח OCR-free בעבודה זו מתאר את היעדר שלב OCR נפרד; המערכת עדיין צריכה להפיק את המידע הכתוב הרלוונטי מהתמונה.
התפתחויות אלו הרחיבו את הארכיטקטורות הזמינות. מערכת עיבוד עשויה לזהות טקסט ולאחר מכן לנתח אותו, או לאמן מודל להפקת תוצאה מבוקשת ישירות. אף סידור אינו מבטיח פלט נאמן בכל דף. הבחירה משנה היכן שגיאות יכולות להתרחש, כיצד נבדקות תוצאות ובאיזו קלות ניתן לשמור ראיות ביניים, כגון מילים מזוהות ומיקומן.
מערכות מולטי-מודאליות מרחיבות את קריאת המסמכים ומציבות מבחנים חדשים
מערכות מולטי-מודאליות עדכניות משלבות עיבוד תמונה ויצירת שפה, ומאפשרות לטקסט במסמך להשתתף באינטראקציות רחבות יותר. בהתאם למערכת ולמשימה, משתמש עשוי לבקש תמלול, לשאול שאלה על דף או לחלץ שדות מסוימים. הזיהוי הופך יותר ויותר לחלק מתהליך עבודה רחב יותר של מסמכים, בעוד ש-OCR ייעודי נותר שימושי כאשר הדרישה העיקרית היא תמלול מדויק וניתן לבדיקה.
ההערכה התרחבה בהתאם. OCRBench, שהוצג ב-2023, בחן זיהוי לצד שאלות על מסמכים, חילוץ מידע וביטויים מתמטיים בכתב יד. יורשו, שפורסם בסוף 2024 ועודכן ב-2025, בחן קבוצה רחבה יותר של משימות טקסט חזותי והסקה. המגבלות שדווחו כללו פרטים עדינים, מבנה, אלמנטים מורכבים וטקסט פחות מוכר, מה שמראה מדוע טענת דיוק בודדת אינה יכולה לתפוס כל דרישה לקריאת מסמכים.
יכולת רחבה זו גם הופכת את מטרת הפלט לחשובה יותר. הסבר מועיל עשוי להיות ניסוח מחדש, בעוד שתמלול נאמן חייב לשמר את מה שהדף אומר בפועל. ניסוח שוטף אינו יכול לקבוע ששם, סכום או ציטוט נקראו נכון. מערכות זקוקות להערכה המתאימה למשימה, בין אם זה אומר דיוק תווים, סדר קריאה, מבנה טבלה או נכונות של שדה שחולץ.
לאורך המאה, כיוון ההתקדמות היה לעבר קלט פחות מבוקר ופלט שימושי יותר: מתווים קבועים מראש לטקסט מודפס רגיל, כתב יד, תצלומים ומסמכים מורכבים. גישות חדשות ממשיכות להצטרף לגישות מבוססות. האתגר המרכזי נותר מוכר: הפיכת ראיות חזותיות למידע אמין תוך שמירה על הפרטים החשובים.