Parquet を NDJSON に変換

データ分析基盤で使われる Parquet は、そのままでは中身を目で確認しにくいバイナリ形式です。この変換は Parquet の各行を 1 行 1 JSON の NDJSON に変え、ログ処理ツールやテキストエディタで内容を確認できるようにします。

整数のうち 2 の 53 乗を超える大きな値は、数値としてではなく文字列として書き出されます。JavaScript の数値がその範囲を正確に表現できないための処置です。日付の列は ISO 形式の文字列に、バイナリの列は小文字の 16 進数文字列に変換されます。

入れ子構造を持つ列があれば、その値は JSON のテキストとしてそのまま文字列の中に埋め込まれます。

Parquet が JSON から書き出されたものであれば、書き込みの時点ですでに型は真偽値・整数・浮動小数点数・文字列の 4 種類に絞られ、列によっては 1 つの値のために列全体が文字列に丸められていることもあります。

この変換はその Parquet が持っている型情報をそのまま読み取るだけなので、Parquet を作る前の元の JSON が持っていた細かい型の違いを取り戻すことはできません。JSON から Parquet、また NDJSON へと往復させても、最初の状態には戻りません。

書き出された NDJSON の各行は、それ単独で有効な JSON です。ファイル全体を一度に読み込まなくても、1 行ずつ順番に処理できるという NDJSON の利点がそのまま活かされます。

元の Parquet がどの圧縮アルゴリズムで書かれていても、この変換はその違いを気にせず読み込みます。読み込みに失敗するのは、ファイルが破損しているか、対応していない特殊な構造を使っている場合に限られます。

複数の Parquet ファイルを一度に置いても、順番に処理されて ZIP にまとめて返ってきます。アップロードは発生しませんが、1 回にまとめられるのは 100 ファイルまでです。行数の多いファイルほど処理に時間がかかりますが、実際の制約は端末の空きメモリーです。