NDJSON を Parquet に変換

Parquet は表形式の列指向フォーマットで、NDJSON のような自由な入れ子構造をそのままでは持てません。この変換はオブジェクトの階層をドットでつないだ列名に平らにし、配列の添字も経路の一部として扱います。

これは JSON を Parquet に書き出すときと同じ処理で、`user.name` や `tags.0` のような列名が生まれます。深く入れ子になったデータほど、列の数は増えます。

書き込みの際、各列の型は列全体の値を見て、真偽値・32 ビット整数・倍精度浮動小数点・文字列の 4 種類のいずれかに決められます。NDJSON が数値として持っていた値でも、ここで型が決め直されます。

32 ビット整数の範囲を超える整数は、64 ビット整数としてではなく浮動小数点として書き込まれます。正確な整数として扱いたい大きな ID がある場合は、この点に注意してください。

ある列のほとんどの行が数値でも、1 行でも数値でない値（空文字列や説明的なテキストなど）が混ざっていれば、その列全体が文字列型として書き込まれます。列の型は行ごとではなく、列全体で 1 つに決まるためです。

数値の列のつもりで用意したデータに、まれに欠損値として空文字が入っているだけで、列全体が文字列になってしまうことがあります。変換後にスキーマを確認する価値があります。

Parquet を読み込む側でも、値の正規化が行われます。64 ビット整数は 2 の 53 乗を超える場合に文字列として扱われ、日付は ISO 形式の文字列に、バイナリは小文字の 16 進数文字列になります。入れ子の値は JSON テキストとして表現されます。

つまり NDJSON から Parquet を経由して別の形式へ戻す往復では、型がもとのまま保たれる保証はありません。Parquet を型忠実な中継地点として使うことはできません。

JSON や NDJSON から CSV、TSV、SQL、INI、XLSX、Parquet へ書き出す場合、すべて同じ「平らにする」処理を経ます。逆に JSON、YAML、TOML、XML、NDJSON へ書き出す場合は、階層構造がそのまま保たれます。

階層を保ったまま別の形式に移したいだけなら、Parquet は向いていません。列指向の分析ツールに読み込ませたい、という目的がある場合にだけ意味を持つ変換です。

解析と書き込みはブラウザーの中で行われ、NDJSON ファイルがサーバーへ送られることはありません。開発者ツールのネットワークタブを開いたまま試せば確認できます。

限界はメモリーです。データ全体をいったんメモリー上に展開してから書き出すため、数百メガバイト規模のファイルではブラウザーのタブが苦しくなり始めます。