Convertir TSV en CSV

Plein de systèmes exportent des fichiers tabulés et presque aucun ne les accepte. Les consoles analytiques, les plateformes publicitaires, les instruments de laboratoire et les clients de base de données se tournent tous vers la tabulation parce que leurs données sont pleines de virgules ; le CRM, l’outil d’emailing et le logiciel de comptabilité à l’autre bout ont un champ étiqueté « Upload CSV » et le disent littéralement.

Renommer le fichier vaut trente secondes parce qu’une minorité d’importateurs détectent le délimiteur au lieu de se fier à l’extension, et Excel est l’un d’eux. La majorité ne le fait pas. Ils découpent chaque ligne sur les virgules, trouvent une seule colonne là où ils en attendaient douze, et soit rejettent le fichier avec un message peu utile, soit importent chaque ligne dans le premier champ, ce qui est pire parce que cela ressemble à un succès.

La conversion n’est pas un rechercher-remplacer de tabulations par virgules, et elle ne doit pas l’être. Un champ qui lit « Berlin, Germany » contient déjà le caractère sur le point de devenir délimiteur, donc il est entouré de guillemets à la sortie, et un guillemet à l’intérieur d’un tel champ est doublé.

C’est correct et universel, et cela surprend encore les gens qui ouvrent le résultat dans un éditeur de texte pour la première fois. Seuls les champs qui en ont besoin sont cités ; le reste est écrit nu, donc un fichier où une poignée de colonnes d’adresse ou de description sont citées et où tout le reste ne l’est pas est exactement ce à quoi ressemble un CSV bien formé. Tout importateur qui vaut le téléchargement lit cette convention. Un qui ne le fait pas est un signal qu’il faut chercher une autre route d’import plutôt que de retirer les guillemets.

La faiblesse d’un fichier tabulé est qu’une tabulation finit occasionnellement dans une valeur — collée dedans, tapée par accident, traînée depuis un autre système — et le format n’a pas de moyen naturel de l’exprimer. Les outils en aval qui comptent les tabulations voient alors une colonne de trop à partir de cette ligne.

Convertir en CSV supprime le problème entièrement, parce que la tabulation n’est plus un délimiteur. Elle est écrite telle quelle dans le champ sans citation nécessaire et sans ambiguïté créée. Si un export tabulé a produit des lignes décalées dans un outil, cette conversion est un vrai correctif plutôt qu’un contournement, et cela vaut la peine de savoir que la corruption était dans le choix du délimiteur et pas dans les données.

Les valeurs qui ont l’air numériques sont lues comme des nombres en chemin, ce qui est correct pour les quantités et les prix et faux pour les codes. Un numéro d’adhérent 00123 arrive dans le CSV sous la forme 123, un numéro de téléphone sans espaces devient un grand entier, et une référence écrite 1e5 devient 100000.

Le test est de savoir si additionner deux valeurs dans la colonne signifierait quoi que ce soit. Les codes postaux, références article, numéros de téléphone et références de compte échouent tous et appartiennent tous au texte. Si l’export est à vous à configurer, ajouter un préfixe ou exporter la colonne entre guillemets la garde intacte. S’il ne l’est pas, regardez cette colonne dans le fichier converti avant l’upload, parce qu’un écran d’import acceptera 123 là où il aurait dû recevoir 00123 et le fera correspondre au mauvais enregistrement sans commentaire.

La sortie est en UTF-8 sans BOM. C’est le bon choix pour les scripts, les importateurs et le contrôle de version, et c’est le mauvais pour un double-clic sous Windows : sans marque au début du fichier, Excel retombe sur la page de code du système et un nom comme Müller apparaît comme Müller.

Le correctif est d’importer plutôt qu’ouvrir — Données, puis Obtenir des données, puis À partir d’un fichier texte/CSV, en choisissant 65001 : Unicode (UTF-8) comme origine. Excel lit alors le fichier correctement et vous laisse définir les types de colonnes en même temps, ce qui est aussi le moment de marquer les colonnes d’identifiant comme texte. Si la destination est vraiment un tableur plutôt qu’un écran d’import, convertir le TSV en XLSX à la place évite toute la question, puisqu’un classeur porte son encodage et ses types à l’intérieur.

Un CSV produit ici utilise la virgule, ce qui est la convention internationale et ce que presque tout importateur entend par ce nom. Excel installé dans une locale où la virgule est le séparateur décimal — Allemagne, France, Espagne, Brésil et une grande partie du reste de l’Europe et de l’Amérique du Sud — ne le dédoublera pas au double-clic, parce qu’il cherche des points-virgules.

C’est un problème d’affichage dans un programme plutôt qu’un défaut du fichier, et la même route d’import par Obtenir des données le résout en vous laissant nommer le délimiteur. Si le fichier est destiné à des collègues sur ce genre d’Excel plutôt qu’à un système, convertir le TSV en XLSX est à nouveau le chemin court : il contourne le délimiteur, l’encodage et le séparateur décimal en une étape.

Les noms de colonnes arrivent exactement comme le TSV les a écrits, y compris les espaces, unités ou symboles. Les écrans d’import sont en général bien plus pointilleux que cela : ils s’alignent sur des noms exacts, ou sur un ordre fixe, ou ils vous demandent de mapper chaque colonne à la main sur la page suivante.

Éditer l’en-tête est plus facile avant la conversion qu’après, quand des guillemets ont pu apparaître et où la ligne est plus dure à lire. Si l’importateur mappe les colonnes interactivement, un bon en-tête fait gagner du temps quand même, parce que l’écran de mapping montre les noms et une valeur échantillon et rien d’autre. Deux colonnes toutes deux appelées `date` y paraîtront identiques.

Chaque ligne garde le même nombre de champs, donc une valeur vide reste un champ vide plutôt que de disparaître, et le fichier reste rectangulaire. C’est ce dont un importateur a besoin pour aligner les colonnes du tout.

Ce que veut dire un blanc est la décision de l’importateur, pas celle du fichier, et c’est là qu’un téléchargement de contacts dérape. Beaucoup de systèmes traitent un champ vide dans une mise à jour comme « mettre ceci à rien » et effaceront un numéro de téléphone qui n’a jamais été inclus dans l’export. Si le fichier met à jour des enregistrements existants plutôt que d’en créer de nouveaux, vérifiez la règle de l’outil pour les blancs avant l’upload, et retirez les colonnes que vous n’avez pas l’intention de modifier.

Les deux formats sont du texte brut, le lecteur et l’écrivain sont du JavaScript ordinaire, et la conversion se passe sur cette page. Aucune requête ne transporte le fichier, donc une liste de contacts ou un export de clients n’est pas copié chez un tiers sur le chemin de celui que vous avez effectivement choisi.

Aucun nombre de lignes n’est vérifié et aucun compte n’est impliqué ; le plafond est de 100 Mo de fichier, cent fichiers par dépôt. Une table de plusieurs dizaines de mégaoctets se convertit sans cérémonie, et une qui dépasse 100 Mo est presque certainement trop grande pour l’écran d’import aussi et doit être découpée dans les deux cas.

Si la destination est un pipeline shell, un script R ou quoi que ce soit qui découpe sur un caractère plutôt que d’analyser des guillemets, l’original tabulé est le meilleur fichier et la conversion est un pas en arrière. Les guillemets sont exactement la complication que ces outils ne peuvent pas gérer.

Gardez aussi le TSV que le CSV quand l’export est une source de référence. La conversion lit les valeurs comme des nombres là où elles ont l’air numériques, donc le CSV n’est pas une copie sans perte de l’original, et avoir l’export intact sur lequel revenir ne coûte rien et a sauvé bien des après-midis.