Parquet を XLSX に変換

.parquet はデータ基盤の中で使われる標準的な形式であり、Excel の「開く」メニューには対応する項目がありません。Power Query のコネクターで対応できるかどうかは、使っている Excel のバージョンやライセンスによって変わります。

別の形式で出し直してもらうのが本来は一番良い方法ですが、送ってきた相手が別のタイムゾーンにいたり、パイプラインが Parquet しか出力しない設計だったりすると、それも難しいことがあります。自分で変換すれば、何かをインストールする必要もなく、その場で開けるファイルになります。

Parquet は列ごとの型を記録しているデータ形式です。CSV には型がなく、すべての値が一度テキストになり、Excel が取り込み時にあらためて推測し直します。番号が日付に化けたり、コードが数値として解釈されたりするのはこのためです。

ワークブックのセルは型を保ったまま届きます。数値の列は数値セルとして、真偽値の列は真偽値セルとして書き出されるので、合計もフィルターも最初から正しく機能します。

タイムスタンプの列は 2024-03-11T09:30:00.000Z のような ISO 8601 形式の文字列として書き出され、テキストのセルに入ります。文字列として並べ替えることはできますが、日付としての計算やピボットテーブルの日付フィルターにはそのままでは使えません。

「データ」タブの「区切り位置」を使い、最後のステップで日付形式を YMD の順に指定すれば、実際の日付として認識させられます。列ごとに数十秒で終わる作業です。タイムゾーンや表示形式は見た目に関わる判断であるため、この変換では自動では行わず、Excel の側で目に見える形で決められるようにしています。

ワークシートはヘッダー行を含めて 1,048,576 行、16,384 列までしか保持できません。これはスプレッドシート形式そのものの制限であり、どのバージョンの Excel でもこれ以上の行は表示されません。

Parquet はもともとスプレッドシートに収まらない規模のテーブルを扱うための形式なので、この上限を超えることは珍しくありません。超えている場合は、抽出元でフィルターをかけるか集計してから受け取るのが現実的な対処です。

Parquet が持つリストや構造体の列は、そのままではワークシートの一つのセルに収まりません。このサイトの変換は、そうした入れ子の値を平坦化し、request.method のようなドット区切りの列名に分けて書き出します。

結果として列の数が元の Parquet より増えることがありますが、それぞれのセルは通常のスプレッドシートの値として扱え、フィルターや並べ替えがそのまま機能します。列名がデータパイプライン由来の分かりにくい形になっていることが多いので、レポートとして使うなら先頭行で列名を分かりやすく付け直しておくのが実用的です。

Parquet は 64 ビット整数型を持てますが、スプレッドシートが正確に扱える桁数はおよそ十五桁までです。それを超える値は、丸めた数値としてではなく、テキストとしてセルに書き込まれます。

見た目としては他の数値の列と並びが揃わず不自然に映りますが、これは正しい選択です。丸められた注文番号や取引 ID は、一見有効な識別子に見えても実際には別の値になってしまい、追跡できなくなります。左揃えになっている長い数字の列を見つけたら、それはテキストとして扱われているという意味です。

Parquet ファイルは一つのテーブルと一つのスキーマしか持たないため、ワークブックにはシートが一枚だけ作られます。名前は拡張子を除いたファイル名から取られ、ワークシート名の上限である 31 文字に収まるよう調整されます。

列名はデータ基盤が付けたそのままの名前で届くため、レポートとして人に見せる名前とは違うことがよくあります。元の名前を分かりやすく直すのはワークブック側で行うのが安全です。データチームに問い合わせるときには元の列名が必要になるからです。

Parquet の読み込みも、ワークブックの書き出しも、必要になった時点でこのページに読み込まれるライブラリーが行い、いずれもこのページの中で完結します。ファイルを運ぶ通信は発生しません。

集計もマスキングもされていないままのテーブルであることが多いため、それをアップロードせずに Excel で確認できるという点は、データの取り扱いポリシーの観点からも意味を持ちます。無料枠は 1 ファイルあたり 100 MB までです。