PDF を TXT に変換

PDF には 2 種類あり、外から見ると同じです。1 つは文書から作られたもの——Word から書き出した、PDF として印刷した、システムが生成した——で、中に本物の文字が入っています。もう 1 つはスキャナーやカメラで作られたもので、中に入っているのはページの写真です。

5 秒で見分けられます。PDF を開いて、1 行をマウスで選択してみてください。単語ごとに反転するなら、文字はファイルの中にあり、このページはそれを取り出せます。ページ全体が 1 つの四角として反転するか、何も反転しないなら、それは画像です。その場合に必要なのは文字認識で、このページはそれを行いません。

プレーンテキストは文字の並びであって、それ以外の何物でもありません。段組みも、表も、見出しも、ページも、書体も知りません。ですから PDF をテキストにするのは意図的に情報を落とす作業です。これは回避すべき制限ではなく、あなたが注文したものそのものです。

結果は予想できます。2 段組みの論文は、左の段のあとに右の段が続く 1 本の流れになります。表はセルが単語として並び、意味を与えていた枠は消えます。ヘッダーとフッターは各ページの本文の中に現れます。

日本語の文書には、他の言語にはない事情があります。縦書きで組まれた PDF は、文字を描く指示を組版ソフトが決めた順で持っていて、取り出しはその順をそのままたどります。

素直に組まれた縦書きなら結果は正しく並びます。崩れるのは、段組み、割注、縦中横の数字、そして本文の脇に置かれた囲みが混ざったページです。順番が入れ替わっていないか、冒頭の数行を必ず見てください。ファイル自身がどれを先に読むべきか記録していない以上、これを自動で直せるものはありません。

PDF は文も段落も保存していません。保存しているのは「この位置にこの字形を描け」という指示で、その指示の並び順は、たいていは読む順ですが、必ずそうとは限りません。

凝ったデザインのページがその境目です。段の途中に引用が入る雑誌の紙面、ラベルのまわりに入力欄が置かれた申込書、囲みの多い会報。これらは順番が入り混じって出てくることがあります。どれを先に読むのかが、そもそもファイルに書かれていないからです。

人が何からテキストを取り出しているかを見てください。契約書、賃貸借契約、診断書、取引明細、請求書、未発表の原稿、査読中の論文。この分野は、中身が本人だけのものである文書に、異常なほど偏っています。

ネット上のほかのテキスト抽出はどれもアップロードを求めます。このページは pdf.js——Firefox が PDF を表示するのに使っている、Apache ライセンスのオープンソースのエンジン——で、いま開いているページの中で読み取ります。信じる必要はなく、確かめられます。開発者ツールを開き、ネットワークタブを見ながら変換してください。

これはよくある理由になりました。そしてプレーンテキストはそのために正しい形式です。モデルが読むのは文字であって、PDF が抱えている書体や座標から得るものはありません。PDF をそのままチャット欄に入れるのは、たいてい、その道具がこの変換を代わりに——しかも雑に——行ったということです。

2 つ役に立つことがあります。ページのスクリーンショットではなく文書全体を変換してください。文字は正確で、画像は認識が要ります。そして出力の冒頭を見てください。1 ページ目が題字だけの表紙なら、テキストはほとんど何もないところから始まります。それは失敗ではなく、うまくいった印です。

出力は UTF-8 です。日本語も、英数字も、ハングルも、絵文字も 1 つのファイルに収まり、いまどきの道具ならどれでも読めます。

引っかかるのは古い Windows のソフトで、いつもの犯人は Excel です。テキストや CSV をダブルクリックで開くと、いまも CP932 として読もうとするので、文字化けします。データ、テキストまたは CSV から、と進んで UTF-8 を選べば直ります。ファイルは正しく、Excel の前提が違うだけです。

選択の確認で画像だと分かったなら、このページには何もできません。そして、空のファイルを返すよりそう言うほうが誠実です。文字認識はまったく別の作業で、失敗の仕方も別です。大きな音を立てて失敗するのではなく、静かに間違って推測します。

現実的な手段は、OS に入っている文字認識——macOS も最近の Windows も画像から文字を取り出します——か、専用の OCR ソフトです。どれを使うにせよ、信じる前に結果を読んでください。請求書の中で読み違えられた数字は、正しい数字とまったく同じ顔をしています。

取り出しは速く終わります。何かを描くのではなく、構造を読んでいるだけだからです。数百ページは珍しくもなく、手間はファイルの大きさよりも文字の量におおよそ比例します。

遅くなるのは、画像でいっぱいだから大きい、という文書です。その画像も読み飛ばさなければならないからです。200 MB のスキャンしたパンフレットは少し待たせたうえで、まったく正しく、ほとんど何も返しません。それは選択の確認と同じ答えを、遅い方法で得たということです。