Convertire TAR in BZ2

Quasi tutti quelli che arrivano qui gliel’hanno detto. Una ricetta di pacchetto elenca .tar.bz2 tra le sue sorgenti e calcola un hash contro di esso. Il processo di rilascio di un progetto produce quell’estensione dal 2006 e la pagina download, i mirror e gli script di build di terzi vi puntano tutti.

Nessuno di questi cambierà per un archivio, e nessuno ha torto a resistere al cambiamento — il nome di un artefatto fa parte di un contratto che altri hanno costruito sopra. Questo rende una conversione di conformità, e merita di essere inquadrata come tale piuttosto che travestita da ottimizzazione. Se scegliete liberamente e nulla a valle importa, il consiglio onesto è chiudere questa pagina e scegliere gzip per la velocità o XZ per la dimensione.

Bzip2, dal 1996, fa qualcosa di strutturalmente diverso da entrambi i suoi vicini. Taglia l’input in blocchi fino a 900 KB e applica a ciascuno una trasformata di Burrows–Wheeler, che riordina i byte così che contesti identici finiscano adiacenti. Un passaggio move-to-front e la codifica Huffman poi comprimono le sequenze risultanti.

Il registro registra il blocco da 900 KB come la sua finestra, ed è il confronto equo con i 32 KB di gzip: dentro un blocco, bzip2 vede molto più contesto di quanto gzip possa mai vedere, motivo per cui vince sul testo. È anche il confronto equo con il dizionario da 64 MB di XZ, dove bzip2 perde.

La compressione è lenta perché l’ordinamento è costoso, e quella è la parte che pagate una volta, su una macchina che non vi sta aspettando. È sopportabile. La decompressione è la sorpresa: annullare un ordinamento a blocchi è lavoro reale, a differenza di annullare una corrispondenza a finestra scorrevole.

È ciò che rende il formato una scelta scarsa per qualunque cosa recuperata e scompattata ripetutamente. Una dipendenza scaricata a ogni esecuzione CI, un livello container, un artefatto scaricato da cento macchine — ognuna paga il costo di decompressione ogni volta, e si misura in minuti su un archivio grande piuttosto che secondi.

Memoria alla decompressione. Bzip2 lavora in blocchi di al massimo 900 KB, quindi il buffer di cui ha bisogno per scompattare qualunque cosa è piccolo e fisso indipendentemente da quanto sia grande l’archivio. XZ ha bisogno di memoria scalata al dizionario con cui il file è stato scritto, fino a 64 MB — e se la macchina non può fornirla, l’archivio non si apre affatto.

Conta in un insieme di posti più ristretto di un tempo, ma i posti sono reali: router e apparecchi embedded, container con memoria limitata, ambienti di recupero, un initramfs, un vecchio sistema che nessuno può aggiornare.

BZ2 comprime esattamente uno stream. Non ha campo per un nome file, nessuna nozione di directory e nessun modo di segnare dove finisce un membro e inizia il successivo — il registro elenca l’assenza di struttura di directory tra i problemi noti del formato. Tutto ciò che un elenco di un .tar.bz2 vi mostra viene letto dal TAR al suo interno.

Quindi la conversione scompatta ciò che avete inviato, scrive un TAR fresco dai contenuti, e lo comprime con bzip2. Il download arriva con estensione .bz2 e andrebbe rinominato in .tar.bz2, il che permette a tar xjf di fare l’intero lavoro in un comando.

I blocchi di bzip2 sono compressi indipendentemente l’uno dall’altro, il che dà al formato una proprietà che i suoi vicini non hanno: il danno a un blocco non distrugge necessariamente tutto ciò che segue. Esistono strumenti che percorrono un file bzip2 corrotto, trovano i confini dei blocchi intatti e recuperano ciò che è ancora leggibile.

Trattatelo come una consolazione piuttosto che una strategia. Il TAR all’interno è uno stream continuo di intestazioni e dati, quindi recuperare alcuni blocchi e non altri dà un tarball con buchi, e se ciò produce file utilizzabili dipende interamente da dove è caduto il danno.

La conversione non avvolge bzip2 attorno al file che avete caricato. Estrae il TAR e ne scrive uno nuovo, poi lo comprime. I file all’interno sono identici byte per byte — è un reimpacchettamento senza perdite — ma l’archivio attorno a loro è nuovo, e l’ordine dei membri, le marche temporali e i bit di permesso possono differire.

Per chi impacchetta pacchetti è il dettaglio che decide se questo strumento è quello giusto. Se la ricetta controlla un hash dell’artefatto, l’artefatto deve essere prodotto in modo deterministico su una macchina che controllate.

Sul nostro server, non nel vostro browser. Molti strumenti su questo sito convertono sul vostro dispositivo; il lavoro sugli archivi è una delle eccezioni, perché richiede programmi reali. Il file passa su una connessione crittata a un container che esegue 7-Zip e bzip2, senza accesso internet in uscita.

Ogni lavoro ottiene una directory temporanea su un filesystem in memoria, cancellata al termine del lavoro, e qualunque lavoro ancora in esecuzione dopo sessanta secondi viene terminato. Quel timeout è più probabile da raggiungere qui che sulla maggior parte delle altre coppie, perché la compressione bzip2 è lenta. Il livello gratuito accetta 25 MB per file caricato.

L’unica cifra di rapporto onesta è quella misurata sui vostri dati, e ottenerla richiede due minuti: comprimete lo stesso TAR come GZ, come BZ2 e come XZ e mettete le tre dimensioni fianco a fianco. Su un albero sorgente o un insieme di log l’ordine sarà prevedibile — XZ più piccolo, BZ2 dopo, GZ più grande — ma i divari variano enormemente con i contenuti.

Poi pesate i numeri che non vedete in un elenco file. Quanto spesso verrà scompattato, e da cosa? Gzip se la risposta è “costantemente, da macchine”. XZ se la risposta è “quasi mai, da un computer normale”. BZ2 se qualcosa lo ha specificato, o se la macchina all’altro capo ha pochissima memoria.