Convertire Parquet in NDJSON

Un file Parquet dichiara il tipo di ogni colonna nel suo footer. Convertitelo in CSV e quella dichiarazione sparisce: ogni valore diventa caratteri.

JSON ha tipi propri. Un numero resta un numero, un booleano resta booleano, e null resta null, così il record che arriva dice la stessa cosa di sé che diceva la colonna Parquet.

Questo è il limite da conoscere prima di costruire qualcosa sull’output. Le colonne lista e struct vengono scritte nel JSON come stringhe contenenti JSON piuttosto che come JSON annidato.

È un passaggio in più per sistemarlo. Un jq con fromjson sul campo lo trasforma in un array reale, ed è anche l’occasione per decidere se il campo deve essere annidato affatto.

JSON non ha un tipo data. Una colonna timestamp è quindi scritta come stringa ISO 8601, che ogni linguaggio e validatore di schema legge senza bisogno di un formato dichiarato.

L’alternativa sarebbe un numero epoca, ed è peggiore in un record che una persona deve leggere: un campo con 1710149400000 è illeggibile senza sapere l’unità.

Parquet ha un tipo intero a 64 bit e i numeri JSON sono, in pratica, limitati a ciò che i parser sui due lati rappresentano esattamente — per la maggior parte, 53 bit.

Un valore dentro l’intervallo sicuro resta un numero; uno fuori diventa una stringa tra virgolette con ogni cifra intatta. Un riferimento d’ordine arrotondato assomiglia esattamente a un riferimento d’ordine e non corrisponde a nulla.

Il file è un oggetto JSON completo per riga e nient’altro — nessuna parentesi di apertura, nessuna virgola tra record. Un parser che si aspetta un array fallirà sulla seconda riga.

Ciò che l’assenza compra è che un consumatore può leggere una riga, agire, scartarla e proseguire, qualunque sia la dimensione del file.

Una tabella siede in una piattaforma dati, e qualcosa al di fuori — un indice di ricerca, una coda messaggi, un ambiente di staging — prende JSON e non ha mai sentito parlare di Parquet.

Un ciclo shell che legge righe e ne pubblica ognuna basta per un piccolo backfill. La prima cosa da controllare sono i nomi dei campi: una piattaforma dati dà alle colonne nomi formati dalla pipeline che li ha prodotti.

Un null in una colonna Parquet viene scritto come null nel JSON, il che preserva una distinzione che nessun formato delimitato può portare: null e stringa vuota sono valori diversi.

Un campo dichiarato come stringa rifiuterà null a meno che non sia dichiarato annullabile, e un validatore ve lo dirà al record esatto.

Il lettore Parquet è una libreria caricata su richiesta da questa pagina e il JSON viene scritto lì, quindi nessuna richiesta trasporta il file.

Ogni riga viene materializzata prima che qualcosa venga scritto, quindi la memoria è il tetto. Per una tabella grande, DuckDB scriverà NDJSON in un’unica istruzione senza tenere nulla in memoria.