Convertir des Mio en Tio

Un mébioctet vaut 1 024 kibioctets, soit 1 048 576 octets. Les outils Linux et les chiffres de mémoire désignent presque toujours cela, même quand ils écrivent « Mo ».

Un tébioctet vaut 1 024 gibioctets. L’écart avec le téraoctet grandit à chaque échelon : 2,4 % au kilo, 4,9 % au méga, 7,4 % au giga, 10 % au téra.

Dans ce sens, l'opération est une division, et par un nombre entier : 1 048 576 de ces unités entrent dans un tébioctet sans reste. Le seul inconvénient, c'est que les résultats tombent en fractions — un tiers, un douzième — au lieu des chiffres ronds que donne le sens inverse.

Rien ne se perd pour autant : la division est exacte. Si votre résultat refuse de tenir en place en décimal — 0,0833… et compagnie —, c'est la fraction qui transparaît, pas une erreur qui s'installe.

Un MiB vaut 1 024 fois l'unité du dessous ; un MB, 1 000. Sur cette page, c'est l'écart entre 0 TiB et 0 TiB — 4,9 % — et il grandit à chaque palier : négligeable sur une photo, visible sur un disque dur.

Le mystère de l'espace disque manquant tient tout entier là-dedans, et sur cette page il vaut 4,9 %. Un disque vendu en MB contient exactement ce qui est annoncé ; Windows divise ensuite par 1 024 au lieu de 1 000, garde le nom décimal, et affiche 0 TiB là où la boîte annonçait 0 TiB. macOS compte ces tailles en unités décimales depuis 10.6, d'où le même disque qui paraît de deux tailles sur deux machines — rien n'a disparu et personne n'arrondit : les mêmes octets portent deux noms.

L’écart entre les deux unités est de 2²⁰, de sorte que tout chiffre qui s’exprime significativement en tébioctets et qui a été collecté en mébioctets a été assemblé à partir d’un ordre de grandeur d’un million d’éléments — des objets dans un compartiment, des volumes quotidiens sur des années, des fichiers dans une bibliothèque multimédia, des morceaux dans un catalogue de sauvegarde. C’est le cadre utile pour la conversion : la division elle-même est exacte et triviale, et tout ce qui peut être faux dans la réponse l’était déjà avant que la division n’arrive.

Cela fixe aussi la précision qu’il vaut la peine de porter. Trois chiffres significatifs en tébioctets correspondent à environ mille mébioctets, de sorte qu’un total cité à 14,6 Tio a déjà écarté un gibioctet de détail et il ne sert à rien de discuter des derniers objets. Quand le total est un budget plutôt qu’une mesure, deux chiffres significatifs sont en général tout ce que l’entrée mérite.

La forme la plus commune de ce calcul est un rythme multiplié par une période. Un pipeline de journaux qui ingère 4 200 Mio par jour contient 1 533 000 Mio après un an, ce qui fait 1,46 Tio ; le même pipeline avec une rétention de quatre-vingt-dix jours contient 378 000 Mio, ou 0,36 Tio, et la différence entre ces deux chiffres est en général tout l’enjeu d’une discussion de politique de rétention.

Deux ajustements méritent d’être faits avant que le chiffre ne soit cité. La croissance se compose, de sorte qu’un volume qui monte de dix pour cent par trimestre est 46 % plus haut après un an et que le produit simple sous-estime le pic plutôt que la moyenne. Et la rétention est appliquée par suppression, qui est en retard — une politique à quatre-vingt-dix jours sur un système qui balaie chaque semaine contient jusqu’à quatre-vingt-dix-sept jours. Les deux poussent dans le même sens, et un plan dimensionné sur le produit à plat est un plan dimensionné un peu court.

Les inventaires de stockage objet offrent en général un compte et un total, d’où tombe une moyenne, et la moyenne est la statistique la moins utile de la distribution. Les vrais compartiments sont à longue traîne : un objet médian de quelques dizaines de kibioctets avec une moyenne dans les mégaoctets signifie qu’une poignée de gros objets portent la plupart des octets, et toute estimation qui multiplie le compte par la moyenne donnera à peu près la bonne capacité et se révélera inutile pour tout le reste.

Ce qu’elle fait de travers, c’est ce qui coûte du temps plutôt que de l’espace. La durée de restauration, le coût d’énumération, les frais de requêtes et le parallélisme de transfert sont tous à l’échelle du compte d’objets plutôt que du total d’octets, et un tébioctet réparti sur quatre cents objets ne se comporte pas du tout comme un tébioctet réparti sur quarante millions. Quand le chiffre en tébioctet entre dans un plan de reprise, porter le compte à côté plutôt que la moyenne.

Un objet stocké est plus que sa charge utile. Les magasins d’objets conservent des métadonnées par objet ; les systèmes de fichiers conservent un inode et une entrée de répertoire par fichier ; plusieurs paliers de stockage facturent une taille d’objet minimale quelle que soit la taille réelle, ce qui transforme un compartiment de petits objets en une facture plusieurs fois supérieure à la somme de leurs longueurs. Ceph écrit des objets RADOS à 4 Mio par défaut et une charge utile plus petite n’en remplit pas un.

Rien de tout cela n’apparaît dans une colonne en Mio exportée d’un inventaire, de sorte que la conversion produit un total exact en octets de charge utile et une sous-estimation de ce que coûtera le stockage. La correction est un coefficient appliqué au compte d’objets plutôt qu’au total d’octets, ce qui explique pourquoi le compte doit survivre à l’agrégation. Dix millions d’objets avec un plancher de facturation à 128 Kio représentent 1,19 Tio de facturation avant même que la charge utile ne soit prise en compte.

L’arithmétique entière est sûre ici plus loin que l’instinct ne le suggère. Les flottants en double précision représentent chaque entier exactement jusqu’à 2⁵³, ce qui en mébioctets représente plus de huit milliards de tébioctets, de sorte qu’une feuille de calcul, un script awk ou un reduce en JavaScript sur un inventaire ne perdra pas un octet tant que les valeurs qu’il additionne sont des nombres entiers. La largeur de l’accumulateur n’est pas le risque.

Le risque, c’est de convertir trop tôt. Transformer chaque ligne en un chiffre fractionnaire de tébioctet et additionner ces chiffres arrondit à chaque étape, parce qu’une valeur comme 0,0000038 Tio n’a pas de représentation binaire exacte et qu’un million d’entre elles accumulent une erreur visible. Sommer dans la plus petite unité que la donnée propose — les octets si vous les avez, les mébioctets si vous ne les avez pas — et convertir exactement une fois, à la fin, quand un être humain va lire le résultat.

Une somme en Mio est une taille logique, et presque aucun système de stockage ne stocke la taille logique. Une réplication triple la multiplie par trois. Le codage d’effacement ajoute une fraction déterminée par le schéma — une disposition 6+3 coûte 1,5 fois la charge utile, une disposition 8+2 coûte 1,25. Le RAID 6 sur dix disques coûte 1,25. Les instantanés ajoutent ce qui a divergé depuis leur prise, ce qui est sans borne et rarement modélisé.

La compression tire dans l’autre sens et s’applique avant la réplication plutôt qu’après, de sorte que l’ordre compte : total logique, puis taux de compression, puis surcharge de réplication ou de codage, puis tout plancher par objet. Faire ces opérations dans un ordre différent donne une réponse différente, et un plan de capacité qui n’énonce pas l’ordre qu’il a utilisé ne peut pas être vérifié par quelqu’un d’autre. Écrire d’abord le chiffre brut en tébioctet et en dériver le reste en séquence.

En dessous d’environ un dixième de tébioctet, l’unité cesse d’aider. 104 858 Mio font 0,1 Tio, et un lecteur gère « 102 Gio » bien mieux qu’un nombre avec un zéro devant et trois décimales. Le seuil à appliquer est de savoir si le chiffre a deux chiffres avant la virgule ; sinon, laisser tomber un cran et utiliser les gibioctets.

Au-dessus du tébioctet, la même logique s’applique à nouveau à 1 024 d’entre eux, et il y a une seconde raison de faire attention : les chiffres à l’échelle du pébioctet sont en général cités face à des contrats et à des factures, qui sont en décimal. Un plan qui atteint quatre chiffres de tébioctets est un plan qui sera lu à côté d’un nombre en téraoctets, et les dix pour cent entre eux méritent d’être énoncés explicitement plutôt que laissés à la découverte de quelqu’un.