NDJSON naar JSON omzetten

NDJSON — newline-delimited JSON — schrijft elk record als een eigen, volledige JSON-regel, zonder de omringende vierkante haken en komma’s van een gewone JSON-array. Logsystemen en streaming-tools gebruiken dat, omdat een regel dan onafhankelijk gelezen of toegevoegd kan worden.

Veel gewone JSON-tooling verwacht juist die vierkante haken en weigert een NDJSON-bestand daarom, ook al staat er per regel geldige JSON in.

Elke regel wordt gelezen als een los JSON-object en in een array geplaatst, in exact de volgorde waarin de regels in het bestand stonden. Er wordt niets samengevoegd of hergroepeerd — het is een verpakking rond dezelfde gegevens.

Een leeg NDJSON-bestand levert een lege JSON-array op; een bestand met honderdduizend regels levert een array met honderdduizend elementen.

De structuur van elk record blijft precies zoals het in de NDJSON stond — geneste objecten, arrays binnen een record, getallen en tekst komen ongewijzigd over. Er wordt hier niets platgeslagen.

De volgorde van de records blijft eveneens intact, wat van belang is voor logbestanden waar de chronologie ertoe doet.

Bevat een regel geen geldige JSON — een afgebroken export, een regel die halverwege het schrijven is gestopt — dan levert die regel een leesbare foutmelding op in plaats van dat de hele omzetting doorgaat met een gat in de gegevens.

Bij een groot logbestand is het de moeite waard om zo’n melding serieus te nemen: het geeft aan waar het bronbestand zelf al niet klopte, wat vaak het eigenlijke probleem is.

Veel analyse- en visualisatietools lezen wel een JSON-array maar geen NDJSON-stream. Deze omzetting is dan de stap die het logbestand geschikt maakt voor gereedschap dat niet voor streaming gebouwd is.

Voor grote datasets die juist wél regel voor regel verwerkt moeten worden, zoals bij het invoeren in een streamingsysteem, blijft NDJSON zelf de betere vorm — de omzetting is dan niet nodig.

Het lezen van de NDJSON en het schrijven van de JSON-array gebeurt in deze browsertab. Er wordt niets naar een server gestuurd, wat te controleren is via het netwerktabblad tijdens het omzetten.

Voor logbestanden met gebruikersgegevens of interne identifiers is dat relevant.

Deze omzetting draait in je browser, dus de limiet is 100 MB per bestand — ruim genoeg voor de meeste exports van een dag aan logregels.

Bij een bestand van meerdere gigabytes is het praktischer om het eerst op te splitsen, aangezien de browser het hele bestand in het geheugen moet inlezen om de array op te bouwen.