Файлы и вывод
Начните с того, что содержит файл. PDF может содержать изображения, закодированный текст или и то, и другое; имя файла не говорит о том, можно ли выделить в нем слова.
OCR — оптическое распознавание символов
Процесс идентификации видимых символов на изображении и представления их в виде закодированного текста. Это позволяет повторно использовать слова из скана или фотографии; распознанный результат все еще может потребовать исправления.
Отсканированный PDF
PDF, страницы которого включают отсканированные или сфотографированные изображения документов. Некоторые отсканированные PDF-файлы также имеют текстовый слой OCR, в то время как другие содержат только изображения.
Цифровой PDF
PDF, созданный непосредственно из цифрового контента, например, в текстовом редакторе, а не путем сканирования бумаги. Он часто содержит настоящий текст, хотя на выделение и извлечение все еще может влиять способ его создания.
PDF с возможностью поиска
PDF, содержащий текст, который пользователь может искать. Отсканированная страница может стать доступной для поиска, когда распознанный текст добавляется рядом с изображением. Возможность поиска сама по себе не гарантирует точность или доступность.
Текстовый слой
Закодированный текст, хранящийся в PDF. На отсканированной странице он может быть невидимым и располагаться поверх или под изображением, чтобы выделение и поиск работали, пока исходный вид остается видимым.
Структура страницы
Система распознавания должна делать больше, чем просто идентифицировать буквы. Она также должна определять, какие знаки относятся друг к другу и как читатель должен перемещаться по ним.
Анализ макета
Идентификация областей, таких как абзацы, заголовки, изображения и таблицы. Распознавание слов в таблице и сохранение ее структуры строк и столбцов — это связанные, но разные задачи.
Порядок чтения
Предполагаемая последовательность текста. Двухколоночная статья обычно должна читаться по одной колонке, прежде чем переходить к следующей, а не чередоваться между ними. Правильные слова в неправильном порядке могут создать непригодную для использования расшифровку.
Сегментация
Разделение страницы на более мелкие единицы, такие как текстовые области, строки или символы. Неправильные границы могут объединить соседние слова, разделить символ или смешать несвязанные части страницы.
RTL — текст справа налево
Текст на языках, таких как арабский или иврит, который обычно идет справа налево. Цифры и встроенный латинский текст могут следовать в других направлениях. Порядок отображения и порядок хранения символов не обязательно совпадают.
Подготовка изображения
Подготовка меняет то, как существующие знаки представляются для распознавания. Она не может восстановить текст, которого больше нет на исходном изображении.
PPI и DPI
Пиксели на дюйм описывают дискретизацию изображения при физическом размере; точки на дюйм описывают плотность печати. Настройки сканирования часто используют DPI неофициально. Изменение только сохраненного значения не добавляет деталей к существующему изображению.
Выравнивание (Deskew)
Исправление небольшого наклона, чтобы строки текста стали более горизонтальными. Это отличается от поворота перевернутой страницы или исправления перспективы фотографии, сделанной под углом.
Бинаризация
Преобразование изображения в черно-белые пиксели с использованием порога или другого правила принятия решений. Это может упростить четкую страницу, но также может привести к потере бледных знаков или слиянию близлежащих штрихов.
Предварительная обработка
Корректировка изображения перед распознаванием, например, исправление ориентации, обрезка или изменение контрастности. Полезная корректировка улучшает распознаваемые знаки, не удаляя пунктуацию, акценты или другие значимые детали.
Распознавание и проверка
Оценка описывает конкретную задачу и набор данных. Прочитайте определение оценки, прежде чем сравнивать ее с другим результатом или использовать для оценки собственных документов.
Распознавание рукописного текста
Распознавание рукописных символов или слов. Соединенные буквы, личные сокращения и специфические для автора начертания делают это более сложной задачей, чем четкий печатный текст.
Оценка достоверности
Оценка, которую система распознавания может прикрепить к предсказанию. Ее значение зависит от системы и калибровки. Это не автоматически вероятность того, что весь документ верен.
CER — коэффициент ошибок символов
Сравнение распознанного текста с проверенным эталоном, основанное на вставках, удалениях и заменах символов относительно длины эталона. Чем ниже, тем лучше. Низкий CER все еще может скрывать важную ошибку в имени или числе.
WER — коэффициент ошибок слов
Аналогичное сравнение на уровне слов. Один неверный символ может привести к тому, что все слово будет считаться неправильным. Поэтому WER и CER описывают разные аспекты расшифровки и не должны рассматриваться как взаимозаменяемые.
Эталон (Ground truth)
Проверенный эталон, используемый для оценки распознавания. Важны его правила транскрипции: как он обрабатывает пунктуацию, орфографию, пробелы и нечитаемый текст, влияет на сравнение. Ошибочный эталон может привести к вводящей в заблуждение оценке.
Вопросы и ответы
Является ли OCR тем же самым, что и перевод?
Нет. OCR считывает видимый текст в редактируемую форму. Перевод выражает текст на другом языке. Предварительная проверка распознавания помогает избежать перевода неверно прочитанного источника.
Является ли загрузка в Word копией исходного макета?
Не обязательно. Редактируемый документ может содержать распознанный текст, не сохраняя таблицы, интервалы или дизайн страницы оригинала. Проверяйте результат по оригиналу, когда важен макет.
Почему две оценки точности могут различаться?
Они могут использовать разные документы, эталонные соглашения или измерения. Ошибки символов, ошибки слов, пропущенные области и проблемы с порядком чтения — это не одно и то же.