JSON を Parquet に変換

Parquet は列指向のバイナリ形式で、Spark や BigQuery、Athena のような分析基盤が好んで読み込みます。JSON のログやエクスポートデータをそうした基盤に取り込みたいとき、この変換が必要になります。

JSON の値がオブジェクトの中にオブジェクトを持つような入れ子構造の場合、この変換は `user.address.city` のようにドットでつないだ列名に平坦化します。表形式の Parquet には、もともと入れ子を表す仕組みがないためです。

配列も同様に、要素の位置を示す番号がパスの一部として列名に組み込まれます。

この変換器が Parquet に書き込む型は真偽値、32 ビット整数、倍精度浮動小数点数、文字列の 4 種類だけです。JSON の細かい型の違いはこの 4 つのどれかに丸められます。

32 ビット整数の範囲を超える大きな整数は、64 ビット整数としてではなく倍精度浮動小数点数として書き込まれます。実際には持っていない精度を約束しないための選択です。

同じ列の中に数値と文字列が混在している場合、この変換器はその列全体を文字列として書き出します。1 つの値が数値として読めないだけで、その列にあるすべての値が影響を受けます。

変換前に JSON の各キーの型がそろっているか確認しておくと、意図しない文字列化を避けられます。

Parquet はあらかじめ型を宣言してからデータを書く形式ですが、この変換は元の JSON にスキーマの宣言がないため、各列のデータを実際に見てから型を決めます。列によって推測結果が異なるのはこのためです。

書き出される Parquet がどの圧縮アルゴリズムを使っているかは、この変換が使っているライブラリーの既定値に委ねられていて、こちら側で指定するオプションはありません。

いったん Parquet に変換したファイルを再び JSON に戻しても、列として平坦化する前の入れ子構造がそのまま復元されるわけではありません。列名のドット区切りは手がかりにはなりますが、自動で元の形に組み立て直す処理は行われません。

複数の JSON ファイルを一度に置いても、順番に処理されて ZIP にまとめて返ってきます。アップロードは発生しませんが、1 回にまとめられるのは 100 ファイルまでです。

行数の多いファイルほど処理に時間がかかりますが、実際の制約は端末の空きメモリーです。