ファイルと出力
まずはファイルの内容から始めましょう。PDF には、画像、エンコードされたテキスト、またはその両方が含まれる場合があります。ファイル名だけでは、その中の単語を選択できるかどうかはわかりません。
OCR — 光学式文字認識
画像内の目に見える文字を識別し、エンコードされたテキストとして表現するプロセスです。スキャンや写真から単語を再利用できるようにしますが、認識結果には修正が必要な場合があります。
スキャンされた PDF
ページにスキャンまたは撮影された文書画像が含まれる PDF です。スキャンされたPDFの中には OCR テキストレイヤーを持つものもあれば、画像のみを含むものもあります。
デジタルネイティブな PDF
紙をスキャンするのではなく、文書エディタなどのデジタルコンテンツから直接作成された PDF です。多くの場合、実際のテキストが含まれていますが、選択や抽出は作成方法によって影響を受ける可能性があります。
検索可能な PDF
読者が検索できるテキストを含む PDF です。スキャンされたページは、認識されたテキストが画像と並んで追加されると、検索可能になります。検索可能であること自体は、精度やアクセシビリティを保証するものではありません。
テキストレイヤー
PDF に保存されたエンコード済みテキストです。スキャンされたページでは、元の外観を維持したまま選択や検索ができるように、画像の上または下に不可視の状態で配置されている場合があります。
ページ構造
認識エンジンは、文字を識別する以上のことを行う必要があります。どのマークがグループに属しているか、読者がどのように読み進めるべきかを判断しなければなりません。
レイアウト解析
段落、見出し、画像、表などの領域を識別することです。表の単語を認識し、その行と列の構造を保持することは、関連していますが別のタスクです。
読み取り順序
意図されたテキストの順序です。2段組みの記事は、通常、両段を交互に読むのではなく、片方の段を読み終えてから次へ進むべきです。正しい単語でも順序が間違っていると、使用できない文字起こしになってしまいます。
セグメンテーション(分割)
ページをテキスト領域、行、文字などの小さな単位に分割することです。境界が正しくないと、隣接する単語が結合されたり、文字が分割されたり、ページ内の無関係な部分が混ざったりすることがあります。
RTL — 右から左へ読むテキスト
アラビア語やヘブライ語のように、一般的に右から左へ流れるスクリプトのテキストです。数字や埋め込まれたラテン文字は、異なる方向に流れることがあります。表示順序と保存された文字順序は、必ずしも同じではありません。
画像準備
準備作業は、既存のマークが認識エンジンにどのように提示されるかを変更します。ソース画像にもはや含まれていないテキストを復元することはできません。
PPI と DPI
ピクセル毎インチは物理サイズにおける画像のサンプリング密度を表し、ドット毎インチは印刷時のドット密度を表します。スキャン設定では、DPIが非公式に使用されることがよくあります。保存されている値を変更するだけでは、既存の画像に詳細が追加されることはありません。
デスクュー(傾き補正)
テキスト行が水平になるようにわずかな傾きを修正することです。上下逆さまのページを回転させたり、斜めに撮影された写真の遠近法を修正したりするのとは異なります。
二値化
しきい値やその他の決定ルールを使用して、画像を白黒のピクセルに変換することです。鮮明なページを単純化できる一方で、薄いマークが消えたり、近くの線が結合したりする可能性があります。
前処理
向きの修正、トリミング、コントラスト変更など、認識前に行われる画像調整です。有用な調整は、句読点、アクセント、その他の意味のある詳細を削除することなく、認識可能なマークを改善します。
認識とレビュー
評価は、特定のタスクとデータセットを説明するものです。スコアを他の結果と比較したり、自分の文書を判断したりする前に、そのスコアの定義を読んでください。
手書き認識
手書きの文字や単語の認識です。つながった文字、個人的な略語、書き手特有の形状により、鮮明な印刷テキストとは異なる課題となります。
信頼度スコア
認識システムが予測に付与する推定値です。その意味はシステムとキャリブレーションに依存します。文書全体が正しい確率を自動的に示すものではありません。
CER — 文字エラー率
参照長に対する文字の挿入、削除、置換に基づき、認識されたテキストをチェック済みの参照テキストと比較したものです。低いほど優れています。CERが低くても、名前や数字の重要なエラーが隠れている可能性があります。
WER — 単語エラー率
単語レベルでの同様の比較です。1文字でも間違っていると、単語全体が誤りとみなされます。したがって、WERとCERは文字起こしの異なる側面を表しており、互換性があるものとして扱うべきではありません。
グラウンドトゥルース(正解データ)
認識を評価するために使用されるチェック済みの参照データです。句読点、スペル、スペース、読み取れないテキストをどのように扱うかといった転写規則が比較に影響します。欠陥のある参照データは、誤解を招くスコアを生む可能性があります。
質問と回答
OCR は翻訳と同じですか?
いいえ。OCR は目に見えるテキストを編集可能な形式で読み取るものです。翻訳はテキストを別の言語で表現するものです。認識結果を先に確認することで、読み間違えたソースを翻訳してしまうことを防げます。
Wordのダウンロードは、元のレイアウトのコピーですか?
必ずしもそうではありません。編集可能な文書には、元の表、間隔、ページデザインを保持せずに、認識されたテキストのみが含まれる場合があります。レイアウトが重要な場合は、出力をオリジナルと比較してください。
なぜ2つの精度スコアが一致しないことがあるのですか?
これらは異なる文書、参照規則、または測定基準を使用している場合があります。文字エラー、単語エラー、省略された領域、および読み取り順序の問題は、それぞれ異なるものです。
