TSV naar NDJSON omzetten

Deze pagina is voor iemand met een brede, tekstzware tab-gescheiden export die een documentopslag in moet: Elasticsearch, OpenSearch, MongoDB en BigQuery noemen newline-delimited JSON allemaal expliciet als invoerformaat.

Dat verschilt van de vergelijkbare omzetting vanuit CSV, die eerder wordt gebruikt door iemand die herhaalde exports met wisselende kolommen samenvoegt — hier is TSV zelf de bron, meestal omdat waarden komma’s bevatten.

Elke rij in de TSV komt overeen met precies één regel JSON in het resultaat, met de kolomnamen als sleutels. Ontbreekt een waarde in een cel, dan verschijnt die simpelweg niet of als lege waarde in het bijbehorende document.

Dat is precies de vorm die de meeste documentopslagsystemen verwachten wanneer ze regel voor regel data inlezen.

De uitvoer bevat uitsluitend documenten — er wordt geen actieregel vóór elk document geschreven. Elasticsearch’s `_bulk`-eindpunt verwacht juist zo’n actieregel voorafgaand aan elk document, en zonder die regel wordt een rechtstreekse bulk-load geweigerd.

Dat is een klein probleem om op te lossen — een korte `jq`-bewerking voegt de ontbrekende actieregel toe — maar wel een verwarrende mislukking als niemand het van tevoren zegt. Reken op die extra stap bij een directe bulk-import.

Een waarde die er numeriek uitziet, wordt in de JSON als getal geschreven, niet als tekststring. Dat is meestal precies wat een documentopslag verwacht voor velden als tellers of bedragen.

Een waarde met een voorloopnul, zoals een postcode geschreven als `007`, kan daarbij zijn voorloopnul verliezen — controleer dat specifiek bij identificatiewaarden die toevallig numeriek ogen.

De omzetting draait volledig in de browser; het bestand wordt niet naar een server gestuurd. De limiet op het gratis plan is 100 MB per bestand.

Voor een groot exportbestand met veel rijen is dat ruim voldoende.

Tot honderd TSV-bestanden tegelijk kunnen in één sessie worden omgezet, elk met een eigen voortgangsindicator — bruikbaar wanneer een systeem elke dag een nieuw exportbestand aflevert dat naar dezelfde documentopslag moet.

Het resultaat komt terug als losse bestanden of als ZIP, met dezelfde bestandsnamen als het origineel maar de `.ndjson`-extensie.

De inhoud en volgorde van de rijen blijven exact zoals in het bronbestand — er wordt niets herschikt of samengevoegd. Rijvolgorde in het resultaat komt overeen met rijvolgorde in de TSV.

Voor wie een audit-trail nodig heeft tussen bron en resultaat, betekent dat: elke rij staat terug te vinden als precies één regel, in dezelfde volgorde.

Komt de data eigenlijk al uit een genest JSON-bestand en is TSV alleen een tussenstap geweest, dan is een rechtstreekse omzetting vanuit JSON naar NDJSON vaak eenvoudiger — die vermijdt het platslaan van kolomnamen dat bij deze omzetting soms al heeft plaatsgevonden.

Deze pagina is specifiek voor het geval waarin TSV zelf de bron is en al plat is, zoals een gewone spreadsheetexport.