CSV を TSV に変換

TSV はカンマの代わりにタブを区切り文字に使う表形式です。データの中にカンマが頻繁に登場する場合、TSV のほうが目視での確認や単純なテキスト処理がしやすくなります。

一部の統計ソフトや言語処理系のツールは TSV を標準的な入力形式として扱っており、そうした環境に渡すための変換として使われます。

この変換は一度データを解析してから TSV として書き出す処理で、テキストの中のカンマをタブに置換しているわけではありません。引用符で囲まれた欄や、その中にあるカンマ、欄をまたぐ改行も正しく解釈されたうえで、あらためて TSV の形式に書き出されます。

そのため、住所欄にカンマが入っている CSV のような、単純な文字置換では壊れてしまうデータも問題なく変換できます。

この過程で型が推定されます。数値に見える値は数値として扱われ、`true` と `false` は真偽値になります。数量や区分の列には、ほぼ確実にこれが望みどおりの結果です。

識別子には間違った答えです。`007` は `7` になり、郵便番号や品番、口座番号は先頭の 0 を黙って落とします。日本のデータではこれがよく当たります。`0600001` という郵便番号、`03` で始まる電話番号、13 桁の法人番号。最後のものは 0 が消えるどころか指数表示になることさえあります。数量ではなく符号を扱っている列があるなら、変換後の出力を必ず確認してください。

数値に見える値は数値になってしまうため、符号としての列を守るには、変換の前にその列が「数値ではない」と分かる形にしておく必要があります。表計算ソフトで先頭に `'` を付ける、接頭辞を足す、書き出しの時点で引用符で囲む。どれでも文字列としての印になります。

一般則としては、その列の 2 つの値を足すことが一生ないなら、それは識別子で、文字列のままでいたがっています。郵便番号、品番、電話番号、口座番号、法人番号はすべてこの足し算の試験に落ちます。

空の欄は空文字列ではなく null になります。見出しが `a,b,c` の行に `1,,3` と書かれていれば、出てくるのは `{"a":1,"b":null,"c":3}` に相当する扱いです。値の型を判定する処理が、空の欄には null を割り当てます。

CSV には「空だった欄」と「そもそも無かった欄」を区別する方法がなく、その違いに意味がある場合は、CSV の側で明示的に書いておくか、あとから復元するしかありません。元の形式が運べない情報を、変換ツールが取り戻すことはできません。

同じ見出しを持つ列が 2 つあると、後ろの列が勝ち、前の列は警告もなく消えます。直す場所は元の CSV の見出し行です。

見出しが日本語のままでも問題なく変換できますが、Excel から書き出した CSV は Shift-JIS 系の CP932 であることが多く、UTF-8 として読み込むと文字化けします。書き出すときに文字コードを確認してから変換してください。

解析は速く、限界はメモリーです。データ全体をいったん組み立ててから TSV として書き出すためです。数十メガバイトは問題なく通り、数百メガバイトになるとブラウザーのタブが苦しくなり始めます。

その規模のファイルを継続的に扱う必要があるなら、ブラウザーの変換機ではなく、逐次読み込みができるスクリプトのほうが適しています。