Converter XML para NDJSON

JSON delimitado por linha precisa de algo para dividir, e a divisão aqui acontece num array no topo dos dados interpretados. Interpretar XML nunca produz um: o resultado é sempre um objeto com uma chave só, o nome do elemento raiz, guardando tudo mais. Um valor entra, uma linha sai.

Isso vale mesmo que o arquivo seja grande e contenha muitos elementos repetidos. Uma exportação de 40 MB com dez mil registros converte numa única linha de 40 MB. Nada é perdido e nada é dividido, e se o que você precisava era dez mil linhas, esta conversão não fez isso.

A rota que funciona são dois passos. Converta o arquivo para JSON, depois passe por jq: selecione o caminho carregando o elemento repetido, itere, e use a flag de saída compacta para que cada objeto fique na própria linha. É um comando só, é repetível num script, e coloca a escolha do que conta como registro onde ela pertence — com você.

Nenhum conversor consegue fazer essa escolha a partir do documento sozinho. Num feed RSS o registro é o elemento item; numa resposta SOAP pode ser uma linha três níveis dentro do body; num extrato bancário é o que o fornecedor decidiu chamar de transação.

Este não é um par sem uso. Se suas entradas são muitos documentos XML pequenos em vez de um grande — um diretório de faturas, uma pasta de manifestos, um lote de payloads por evento — então uma linha por arquivo é precisamente o formato que um carregador quer.

Também funciona para inventário. Converter cada arquivo de configuração num repositório e anexar as linhas dá um conjunto de dados consultável sobre o que esses arquivos contêm.

Mesmo depois de você dividir os registros, um comportamento XML os segue. Um elemento repetido vira um array só quando se repete: um registro contendo um elemento tag produz uma string, e um registro contendo dois produz uma lista de strings.

Um armazenamento de esquema na leitura vai inferir um tipo a partir dos primeiros registros que vê e depois rejeitar ou converter à força o resto. O conserto pertence à passagem de jq em vez de ao carregador: normalize todo campo que pode se repetir em array conforme você emite cada linha.

JSON compacto sem indentação, chaves na ordem do documento, terminado por uma quebra de linha. Atributos aparecem como chaves prefixadas com @ e texto de elemento numa tag que também tem atributos aparece sob #text. Um prefixo de namespace fica dentro do nome da chave, então soap:Body é uma chave com dois-pontos nela.

Essas duas últimas valem remover antes de uma carga. Nomes de campo contendo dois-pontos e ponto de interrogação são incômodos ou inválidos em bastante motor de consulta e esquema de tabela, e a declaração é metadado sobre o arquivo em vez de dado dele.

Valores que parecem numéricos são interpretados, tanto em atributos quanto em texto de elemento. Isso é conveniente para uma contagem e destrutivo para identificadores: uma referência de pedido escrita 007 chega como o número 7, e um atributo de versão escrito 1.0 chega como 1.

Um caso se comporta melhor do que se poderia temer: um inteiro longo demais para sobreviver como número JSON é deixado como string em vez de arredondado, então uma referência de dezenove dígitos chega intacta. Notação científica não recebe essa proteção — um valor escrito 1e3 chega como 1000.

NDJSON é lido diretamente por jq, por pandas com sua opção de linhas, e como formato de carga pelos carregadores de data warehouse comuns. Bulk do Elasticsearch precisa de uma linha de ação antes de cada documento, acrescentada na mesma passagem de jq.

O que vale planejar com este par especificamente é o comprimento da linha. Um leitor que processa uma linha por vez precisa segurar a linha inteira em memória, então uma linha de documento inteiro é um buffer de documento inteiro.

Se a exportação é grande, chega regularmente, e precisa virar um fluxo toda vez, a recomendação honesta não é um conversor de navegador de jeito nenhum. Um interpretador XML em streaming lê um arquivo elemento por elemento sem montar a árvore inteira em memória.

Essa abordagem também sobrevive a arquivos maiores que memória, o que nada nesta página faz — a interpretação aqui monta o documento inteiro como objetos JavaScript antes de um único byte ser escrito. Para um arquivo único, o conversor é mais rápido que escrever o programa.

Comentários XML são descartados durante a interpretação e NDJSON não tem sintaxe de comentário para recebê-los, então qualquer documentação dentro da exportação se foi. Também não há cabeçalho, esquema nem preâmbulo: toda linha num arquivo NDJSON é um registro.

Se a carga precisa registrar de onde os dados vieram, isso pertence a um campo no registro ou ao nome do arquivo. Acrescentar como primeira linha torna o arquivo inválido para seu propósito.