NDJSONからParquet

NDJSON を Parquet に変換

一度に100ファイルまで。フォーマットが混ざっていても構いません。

ここで NDJSON を Parquet に変換できます。無料、アカウント不要です。ファイルを上の枠に落とせば、数秒で結果がダウンロードできる状態になります。 変換はお使いのブラウザーの中で行われるので、ファイルはアップロードされません。Windows でも macOS でも Linux でも、iPhone でも Android でも同じように動き、通信を切っても動き続けます。

  • 処理される場所

    ブラウザーの中です。ファイルがアップロードされることはありません。

  • 非可逆

    サイズと引き換えに細部が失われます。ParquetはNDJSONのすべてを保持できません。

  • ファイルサイズの上限

    1ファイルあたり100MBまで。無料、アカウント不要です。

NDJSON と Parquet は何のための形式か

1 行に 1 つの JSON オブジェクト。ログのパイプラインやデータ書き出しが出力する形です。

大量のデータのための列指向の保存形式。CSV よりずっと小さく、ずっと速く問い合わせられます。

NDJSON を Parquet に変換する手順

  1. お手元の NDJSON ファイル をこのページに落とすか、押してファイルを選んでください。
  2. 変換先に Parquet を選びます。変換はブラウザーの中で行われ、ファイルはアップロードされません。
  3. できあがった Parquet ファイル をダウンロードします。

NDJSON と Parquet——何が変わるか

NDJSONとParquetの比較
NDJSONParquet
正式名称Newline-Delimited JSONApache Parquet
拡張子.ndjson, .jsonl.parquet
メディアタイプapplication/x-ndjsonapplication/vnd.apache.parquet
圧縮方式—可逆 — 何も捨てない

結果を開く

pandasは NDJSON と Parquet のどちらも読めるので、別のプログラムを開かずに、結果を元のファイルと並べて確かめられます。

どちらの形式が何のためのものか

Parquet は Apache Software Foundation の形式で、2013 年から使われています。pandas、Apache Spark、DuckDBがこの形式を読めます。

NDJSON から Parquet：よくある質問

NDJSON ファイル はどこかにアップロードされますか。

いいえ。この変換は完全にブラウザーの中で行われるので、ファイルが端末から出ることはありません。ご自分で確かめられます。開発者ツールのネットワークタブを開いて、何か変換してみてください。ページそのものと、このサービスの費用をまかなっている分析・広告のリクエストは見えますが、あなたのファイルを運んでいるリクエストはひとつもありません。

NDJSON から Parquet への変換は無料ですか。

はい。アカウントも透かしもなく、変換できる本数にも上限はありません。お使いの機械の上で動くので、当方には費用が発生しないからです。ブラウザーは 100 MB までのファイルを扱えます。

NDJSON を Parquet に変換すると品質は落ちますか。

NDJSON と Parquet は、内容の表し方が根本から違います。ですからこの変換は複製ではなく再構築です。誠実ではありますが、1 バイトも同じというわけではありません。

できあがった Parquet ファイル を開くのに、何かインストールが必要ですか。

変換には要りません。すでに開いているブラウザーの中で行われます。そのあと結果を開くには、お使いの端末がふだん Apache Parquet を表示するのに使っているソフトが必要です。

これらのフォーマットについて