JSON を NDJSON に変換

NDJSON（改行区切りの JSON）は、ファイル全体を 1 つの構造として読むのではなく、1 行ごとに独立した JSON 値として読める形式です。ログ収集や、レコードを 1 件ずつ処理するストリーム処理のパイプラインでよく使われます。

巨大な配列を 1 つの JSON として扱うより、NDJSON のほうがメモリーに全体を載せずに 1 行ずつ処理できるという利点があります。

入力が JSON の配列であれば、その要素それぞれが NDJSON の 1 行として書き出されます。100 件のデータが入った配列は、100 行の NDJSON になります。

配列の中に配列やオブジェクトが混在していても、それぞれがそのまま 1 行分の JSON として出力されます。中身の構造そのものが変わることはありません。

入力が配列ではなく、1 つのオブジェクトや単一の値であった場合、その値がそのまま 1 行の NDJSON として出力されます。何行にも分割されることはありません。

NDJSON への変換を意図するなら、事前にデータが配列の形になっているかを確認しておくと、期待どおりの行数の出力になります。

CSV や TSV への変換とは違い、NDJSON への変換では入れ子のオブジェクトや配列がドット区切りの列に平らにされることはありません。各行の JSON 値は、元のオブジェクトや配列の構造をそのまま保ちます。

JSON の表現力をそのまま保ちながら、1 行ずつ処理できる形式に変えたいときに向いた変換です。

各行はテキストの改行で区切られ、行の中に改行を含む値がある場合でも、JSON としてエスケープされた形でその行の中に収まります。行の境界と JSON の値の境界が一致しない、ということは起きません。

そのため、この NDJSON をテキストエディターで開いても、1 行 = 1 レコードという対応関係は崩れません。

変換はブラウザーの中で行われ、限界はメモリーです。データ全体をいったんメモリー上に展開してから書き出すためです。数十メガバイトは普通に通ります。

数百メガバイト規模のログデータを継続的に扱う場合は、ブラウザーの変換機ではなく、ストリーム処理ができる専用のツールのほうが向いています。