Convertir CSV en JSON

Le CSV est ce qu’exportent toutes les bases de données, tous les tableurs et tous les outils d’analyse. Le JSON est ce qu’attendent toutes les API, tous les jeux de test et tous les fichiers de configuration. L’écart entre les deux est étroit et fastidieux, c’est-à-dire exactement le genre d’écart qui mérite un outil plutôt qu’un script jetable réécrit à chaque fois.

La ligne d’en-tête fournit les clés et chaque ligne suivante devient un objet, la forme que suppose à peu près tout ce qui se trouve en aval. Les champs entre guillemets, les guillemets échappés et les retours à la ligne à l’intérieur d’une cellule sont analysés correctement : une adresse contenant une virgule survit donc au passage, là où un découpage naïf sur les virgules la met en pièces.

Les types sont devinés, et c’est la partie à vérifier. Une valeur qui ressemble à un nombre devient un nombre JSON, `true` et `false` deviennent des booléens, ce qui est presque toujours ce que l’on veut pour des quantités et des indicateurs.

C’est la mauvaise réponse pour les identifiants, et le français en fournit les exemples les plus douloureux. Un code postal comme 06000 devient 6000, un numéro de téléphone 0612345678 perd son zéro de tête, et une référence client complétée par des zéros les perd en silence. Si vos données contiennent des codes plutôt que des quantités, regardez le résultat avant de vous y fier — c’est de loin la façon la plus courante d’obtenir un JSON valide et des données fausses.

Tout se déroule dans votre navigateur : un gros export se convertit donc aussi vite que votre machine le permet et ne la quitte jamais. Cela compte davantage sur cette paire que sur la plupart des autres, parce qu’un CSV est très souvent une liste de clients, un historique de commandes ou l’export d’un système que personne n’a envie de décrire à un tiers.

Puisque tout ce qui ressemble à un nombre en devient un, la défense pour une colonne de codes consiste à lever l’ambiguïté avant de convertir : une apostrophe en tête dans le tableur, un préfixe, ou un export où la colonne est déjà entre guillemets la marquent comme du texte.

La règle générale mérite d’être intégrée une fois pour toutes. Si vous n’additionneriez jamais deux valeurs d’une colonne, c’est un identifiant, et il veut rester une chaîne. Codes postaux, références d’articles, numéros de téléphone, numéros de compte et SIRET échouent tous au test de l’addition.

Une cellule vide devient `null`, et non une chaîne vide. Une ligne `1,,3` sous les en-têtes `a,b,c` ressort en `{"a":1,"b":null,"c":3}` : c’est la conséquence assumée de la détection de types qui fait de `1` un nombre plutôt que `"1"`.

La différence compte dès que ce qui consomme le JSON la fait : un JSON Schema exigeant une chaîne refusera `null`, et une colonne déclarée NOT NULL rejettera la ligne. S’y ajoute qu’un CSV n’a de toute façon aucun moyen d’exprimer l’écart entre un champ vide et un champ absent. Si cette distinction a un sens chez vous, il faut l’inscrire explicitement dans le CSV ou la rétablir après coup. Aucun convertisseur ne peut restituer une information que le format source ne sait pas porter.

Deux colonnes partageant un même en-tête entrent en collision, puisque les clés d’un objet sont uniques : la dernière l’emporte et la première disparaît sans avertissement. La ligne d’en-tête mérite un coup d’œil avant de convertir.

Une ligne d’en-tête plus courte que les lignes de données laisse les colonnes excédentaires sans clé du tout. Corrigez l’en-tête dans le CSV — c’est une ligne à changer, et c’est le seul endroit où cette information existe.

L’analyse est rapide et la limite est la mémoire, parce que le tableau entier est construit avant d’être écrit. Quelques dizaines de mégaoctets passent sans remarque ; quelques centaines commencent à faire souffrir un onglet de navigateur.

Pour un export de cet ordre, le bon outil est un analyseur en flux dans un script, et non un convertisseur qui tourne dans une page. Le dire vaut mieux que d’échouer au milieu d’un fichier de 900 Mo.

La sortie est un tableau d’objets, ce qu’attendent les API, les jeux de test et la plupart des bibliothèques. Ce n’est pas du JSON ligne par ligne, et ce n’est pas un objet indexé par une colonne d’identifiants.

Ces deux formes sont à quelques lignes de transformation une fois le tableau en main, et aucune ne peut être choisie à votre place sans savoir quelle colonne sert de clé. Un tableau est la forme qui présume le moins.