Convertire TSV in NDJSON

Gli indici di ricerca e gli archivi documenti non prendono file delimitati. Elasticsearch e OpenSearch ingeriscono tramite un endpoint bulk che legge JSON delimitato da newline.

Non è arbitrario. Un archivio documenti contiene documenti, e un documento ha campi nominati con tipi, cosa che una riga delimitata non ha.

L’output è un oggetto JSON completo per riga e nient’altro — nessuna parentesi di apertura, nessuna virgola tra record. Quell’assenza è il formato.

Permette a un caricatore di leggere una riga, indicizzarla, scartarla e proseguire, senza mai tenere l’intero file. Se qualcosa a valle rifiuta il file, controllate se voleva un array.

La riga di intestazione fornisce i nomi campo esattamente come scritti. Alcune destinazioni sono più esigenti del JSON: un punto in un nome campo è trattato come separatore di percorso da Elasticsearch e MongoDB.

BigQuery richiede che i nomi campo inizino con una lettera o underscore. Correggere la riga intestazione nella sorgente prima di convertire è una modifica; correggere un milione di documenti dopo il caricamento no.

JSON ha tipi e un file separato da tabulazioni no, quindi il parser deduce. I valori che sembrano numeri diventano numeri JSON, true e false diventano booleani, un campo vuoto diventa null.

L’inferenza sbaglia sempre nello stesso posto: gli identificatori. Uno SKU di 00123 diventa il numero 123. Anteponete o mettete tra virgolette quelle colonne nell’esportazione.

L’output è solo documenti. Elasticsearch e OpenSearch _bulk si aspettano una riga metadati prima di ogni documento, quindi pubblicare questo file direttamente produce un errore di parsing.

È un unico passaggio jq per aggiungerle: jq -c '{index:{}}, .' sul file convertito interpone una riga azione prima di ogni documento.

Le colonne indicizzate sono di solito quelle scomode: descrizioni prodotto, corpi articolo, testo di recensione. In un file separato da tabulazioni sono proprio i valori che rompono le cose.

In JSON sono contenuto stringa ordinario. Una tabulazione è scappata come \t, un a capo come \n, e nessuno può influenzare la struttura del documento.

Un campo vuoto è scritto come null piuttosto che come stringa vuota, e le chiavi vengono dalla riga intestazione piuttosto che dalle righe sotto.

Elasticsearch ignora un null ai fini dell’inferenza del tipo di campo, quindi una colonna null per le prime migliaia di documenti e numerica dopo può finire mappata dal primo valore non nullo che incontra.

Sia il lettore separato da tabulazioni sia lo scrittore JSON sono JavaScript ordinario caricato da questa pagina, quindi nessuna richiesta trasporta il file.

Il tetto è 100 MB per file, cento file per trascinamento. L’intera tabella viene costruita in memoria prima che qualcosa venga scritto, il che mette decine di megabyte comodamente nell’intervallo.