CSV を JSON に変換

CSV は、データベースも表計算ソフトも分析ツールも書き出す形式です。JSON は、API もテストデータも設定ファイルも要求する形式です。その間の距離は短く、そして面倒です。毎回使い捨てのスクリプトを書くより、道具を 1 つ持っておくほうがいい種類の隙間です。

見出し行がキーになり、それ以降の 1 行が 1 つのオブジェクトになります。後ろにあるものがほぼ例外なく想定している形です。

引用符で囲まれた欄、その中のエスケープされた引用符、欄の中の改行は、きちんと解釈されます。ですから住所の欄にカンマが入っている CSV も、そのまま生き残ります。カンマで素朴に分割する処理では、こうはいきません。

型は推定されます。そしてここが確かめる値打ちのある部分です。数値に見える値は JSON の数値になり、`true` と `false` は真偽値になります。数量や区分にはほぼ確実にそれが望みどおりです。

識別子には間違った答えです。`007` は `7` になり、郵便番号や品番や口座番号は、先頭の 0 を黙って落とします。日本のデータではこれがよく当たります。`0600001` という郵便番号、`03` で始まる電話番号、13 桁の法人番号。最後のものは 0 が消えるどころか指数表示になります。数量ではなく符号を扱っているなら、頼る前に出力を見てください。CSV から JSON への変換が、正しい JSON と間違ったデータを同時に作る道としては、これが群を抜いて多いものです。

全部あなたのブラウザーの中で動くので、大きな書き出しでも機械が許す速さで変換され、そしてこの機械から出ません。この組み合わせでは、それがほかの変換より効いてきます。CSV は、たいてい顧客名簿か注文履歴か、社外の相手に説明したくない基幹システムからの書き出しだからです。

数値に見える値は数値になるので、符号の列を守る方法は、変換の前に「これは数値ではない」と分かる形にしておくことです。表計算ソフトで先頭に `'` を付ける、接頭辞を足す、書き出しの時点で引用符で囲む。どれでも文字として印が付きます。

一般則のほうは覚えておく値打ちがあります。その列の 2 つの値を足すことが一生ないなら、それは識別子で、文字列のままでいたがっています。郵便番号、品番、電話番号、口座番号、法人番号。全部この足し算の試験に落ちます。

空の欄は空文字列ではなく null になります。見出しが `a,b,c` の行に `1,,3` と書かれていれば、出てくるのは `{"a":1,"b":null,"c":3}` です。`1` を `"1"` ではなく数値にするのと同じ型の判定が、空の欄には null を割り当てます。

JSON を受け取る側がその 2 つを区別するなら、この違いは効いてきます。文字列を要求する JSON Schema は null をはねますし、NOT NULL で作られた列はその行を受け付けません。加えて CSV には、そもそも「空だった欄」と「無かった欄」の違いを表す方法がありません。その区別に意味があるなら、CSV の側で明示的に書くか、あとから復元するしかありません。元の形式が運べない情報を、変換機が取り戻すことはできません。

同じ見出しを持つ列が 2 つあると衝突します。オブジェクトのキーは一意だからです。後ろの列が勝ち、前の列は警告もなく消えます。データ行より短い見出し行は、余った列にキーを与えません。直す場所は CSV の見出し行です。1 行の修正で済み、その情報が存在する場所はそこだけです。

日本語の CSV には、もう 1 つ見ておくところがあります。見出しが日本語なら、JSON のキーも日本語になります。それ自体は正しい JSON ですが、受け取る側が ASCII のキーを前提にしていることはよくあります。そして Excel から書き出した CSV は CP932 のことが多く、UTF-8 として読まれた瞬間、キーが読めない記号の列になります。中身より先に、キーで気づける失敗です。書き出すときに UTF-8 を選ぶか、見出し行だけ英字に直してから変換してください。

解析は速く、限界はメモリーです。配列全体を組み立ててから書き出すからです。数十メガバイトは普通に通ります。数百メガバイトになると、ブラウザーのタブが苦しみはじめます。

その大きさの書き出しなら、正しい道具はブラウザーの変換機ではなく、スクリプトの中の逐次読み込みの解析器です。900 MB のファイルの途中で力尽きるより、そう言っておくほうがましです。

出力はオブジェクトの配列です。API もテストデータも、たいていのライブラリーも、それを想定しています。1 行 1 JSON の形式ではありませんし、ID の列をキーにしたオブジェクトでもありません。

どちらも、配列さえ手に入れば数行の変形で作れます。そしてどちらも、どの列がキーなのかを知らずにこちらで選ぶことはできません。配列は、いちばん前提の少ない形です。