CSV を NDJSON に変換

NDJSON は 1 行が 1 つの完結した JSON という形式で、Elasticsearch や BigQuery のような取り込みツール、あるいは行ごとに逐次処理するログ基盤で好まれます。CSV のままではこうしたツールに渡せないことがあります。

この変換は表形式の CSV を、そうしたツールがそのまま読める行単位の JSON に変えます。

CSV の 1 行目は見出し行として扱われ、各列の名前がそのまま出力される JSON オブジェクトのキーになります。2 行目以降がそれぞれ 1 つの NDJSON の行に対応します。

見出しのない CSV や、列が 1 つも認識できないファイルは読み込みの時点でエラーになります。

「123」や「true」のように数値・真偽値として読める文字列は、そのまま数値型・真偽型として NDJSON に書き出されます。すべてがダブルクォートで囲まれた文字列になるわけではありません。

これは便利な半面、注意も必要です。前ゼロ付きの郵便番号やコード番号のような、見た目は数字でも本来は文字列として扱いたい列は、変換後に数値へ変わってしまうことがあります。

CSV の中にある完全な空行は、行数を揃えるために意図的に読み飛ばされます。データの欠落ではなく、無意味な空の行を出力に持ち込まないための処理です。

列数が足りない行や余分な行があっても、読み込み自体は止まりません。ファイル全体でどの列も認識できない場合にのみエラーになります。

書き出された NDJSON の各行は、それ単独で有効な JSON です。ファイル全体を一度に読み込まなくても、1 行ずつ順番に処理できるという NDJSON の利点は、この変換でもそのまま活かされます。

逆に言えば、行と行の間に共通の構造を持たせることはできません。CSV の表構造がそのまま行の並びに置き換わるだけです。

カンマ以外の区切り文字を使った CSV でも、多くの場合は自動で判定されます。列が 1 つしかないファイルではどの区切り文字も同じに見えてしまうため、判定が難しくなることがあります。

そうした場合は区切り文字を明示的に指定することで、正しく列を分割できます。

日本語の列見出しやセルの値もそのまま扱えますが、元の CSV が Shift-JIS や CP932 で保存されている場合、文字化けした状態で読み込まれることがあります。

Excel で作成した CSV は Shift-JIS で保存されていることが多いため、事前に UTF-8 で保存し直しておくと確実です。

複数の CSV を一度に置いても、順番に処理されて ZIP にまとめて返ってきます。アップロードは発生しませんが、1 回にまとめられるのは 100 ファイルまでです。

大きな表を扱う場合は、実際の制約は端末の空きメモリーです。数百万行に及ぶような CSV は、分割してから変換したほうが安定します。