Convertire NDJSON in Parquet

Ogni riga di un file NDJSON è indipendente, ed è esattamente per questo che è il formato a cui si aggiunge: un nuovo campo può essere aggiunto senza riscrivere le righe esistenti.

Parquet non ha tolleranza per questo: il suo footer dichiara un insieme fisso di colonne con un tipo ciascuna. La conversione deve riconciliare le generazioni in un solo schema.

Un campo che appare per la prima volta trecentomila righe dentro il file diventa comunque una colonna, e le righe precedenti ottengono valori nulli.

La maggior parte degli strumenti campiona invece — le prime mille righe — ed è per questo che un caricamento funzionante su un estratto di prova fallisce in produzione, scartando silenziosamente ogni campo non visto.

Un identificatore che era un numero e ora è tra virgolette, uno stato che era booleano e ora è testo — tutti compaiono in file eventi longevi, di solito senza che nessuno se ne accorga.

Il tipo di ogni colonna è deciso su ogni valore al suo interno: tutti booleani dà BOOLEAN, interi nel range a 32 bit danno INT32, altri numeri danno DOUBLE, e qualsiasi cosa mista dà una colonna testo.

Gli eventi strutturati nidificano per convenzione: un blocco richiesta, un blocco utente. Parquet non ha dove mettere un oggetto dentro una cella, quindi ogni record viene appiattito ai suoi rami.

Gli array si appiattiscono per posizione, quindi un array tags con a e b diventa tags.0 e tags.1, e l’insieme di colonne è l’unione attraverso tutto il file.

Parquet ha un tipo intero a 64 bit e questa conversione non lo emette mai. I valori passano attraverso numeri JavaScript, che portano 53 bit di precisione intera.

I file eventi sono pieni dei valori colpiti da questo: timestamp epoca in millisecondi, identificatori tipo snowflake. Per un timestamp, DOUBLE va bene; per un identificatore no, e la correzione è emettere identificatori come stringhe JSON.

Cinquantamila record di ordini generati con sei campi sono arrivati a 207 KB come Parquet contro 4,8 MB come NDJSON — meglio di venti a uno su questi dati.

Ogni riga di NDJSON ripete ogni nome di campo, mentre in un archivio colonnare ogni nome è scritto una volta sola, nel footer.

C’è una vera ironia qui. NDJSON esiste perché un consumatore non debba mai tenere l’intero file in memoria, e questa conversione tiene l’intero file.

Il livello gratuito accetta fino a 100 MB; decine di megabyte convertono senza problemi. Sopra quello, split -l 500000 produce file validi che una cartella di Parquet legge come una sola tabella.

Lo scrittore Parquet e l’analisi JSON sono entrambi JavaScript ordinario, caricato su richiesta da questa pagina — nessun modulo WebAssembly e nessun passaggio server.

Per la telemetria questo è di solito il fattore decisivo: i flussi di eventi contengono identificatori utente, indirizzi IP e percorsi di richiesta, e il fatto che questi dati siano in transito verso un archivio analitico non rende un convertitore web di terze parti una tappa accettabile.