TAR naar BZ2 omzetten

Bijna iedereen die hier komt is verteld het te doen. Een pakketrecept noemt .tar.bz2 in zijn bronnen en berekent er een hash tegen. Een projects releaseproces produceert die extensie sinds 2006 en de downloadpagina, de mirrors en scripts van derden wijzen er allemaal naar. Een universitaire of overheidsdepot noemt het formaat in een inzendchecklist.

Niets daarvan gaat veranderen voor één archief, en niets daarvan is fout om vast te houden — een artefactnaam is deel van een contract waar anderen op gebouwd hebben. Dat maakt dit een compliance-omzetting. Kiest niemand er eigenlijk voor en geeft niets erom, dan is het eerlijke advies deze pagina te sluiten en gzip te kiezen voor snelheid of XZ voor grootte.

Bzip2, uit 1996, doet iets structureel anders dan zijn buren. Het snijdt de invoer in blokken van tot 900 KB en past op elk een Burrows-Wheeler-transformatie toe, die de bytes zo herschikt dat identieke context aan elkaar komt te liggen. Een move-to-front-pas en Huffman-codering knijpen de resulterende reeksen daarna samen.

Ons register noemt het blok van 900 KB als venster, en dat getal is de eerlijke vergelijking met gzips 32 KB: binnen een blok ziet bzip2 veel meer context dan gzip ooit kan, wat waarom het wint op tekst. Het is ook de vergelijking met XZ’s 64 MB-woordenboek, waar bzip2 verliest.

Comprimeren is traag omdat de sortering duur is, en dat betaal je eenmaal, op een machine die niet op je zit te wachten. Uitpakken is de verrassing: een bloksortering ongedaan maken is echt werk, dus bzip2 is veel trager om uit te pakken dan gzip en trager dan xz ook.

Dat maakt het formaat een slechte keuze voor iets dat herhaaldelijk opgehaald en uitgepakt wordt. Een dependency gedownload bij elke CI-run, een containerlaag, een artefact opgehaald door honderd machines — elk daarvan betaalt de uitpakkosten elke keer opnieuw, gemeten in minuten op een groot archief.

Geheugen bij het uitpakken. Bzip2 werkt in blokken van hooguit 900 KB, dus de buffer die het nodig heeft om iets uit te pakken is klein en vast, hoe groot het archief ook is. XZ heeft geheugen nodig geschaald naar het woordenboek waarmee het bestand geschreven is, tot 64 MB.

Dat telt op een kleinere set plekken dan vroeger, en de plekken zijn echt: routers, embedded apparaten, geheugenbeperkte containers, een initramfs, een oud systeem dat niemand mag upgraden. Moet het archief daar uitgepakt worden, dan is bzip2 een verdedigbare technische keuze.

BZ2 comprimeert precies één stroom. Het heeft geen veld voor een bestandsnaam, geen notie van een map en geen manier om aan te geven waar het ene lid eindigt en het volgende begint — ons register noemt de afwezigheid van mapstructuur als bekend probleem.

Dus pakt de omzetting uit wat je stuurde, schrijft een nieuwe TAR van de inhoud, en comprimeert die met bzip2. De download komt binnen met een .bz2-extensie en moet hernoemd worden naar .tar.bz2, wat zowel accuraat is als de vorm waarmee tar xjf de hele klus in één opdracht doet.

Bzip2’s blokken zijn onafhankelijk van elkaar gecomprimeerd, wat het formaat een eigenschap geeft die zijn buren niet hebben: schade aan één blok vernietigt niet noodzakelijk alles erna. Er bestaan tools die een beschadigd bzip2-bestand doorlopen en intacte blokgrenzen vinden.

Behandel dat als troost, niet als strategie. De TAR erbinnen is een doorlopende stroom van kopjes en data, dus sommige blokken redden en andere niet geeft een tarball met gaten erin.

De omzetting wikkelt geen bzip2 om het bestand dat je uploadde. Ze pakt de TAR uit en schrijft een nieuwe, comprimeert die dan. De bestanden erin zijn byte voor byte identiek — dit is een verliesvrije herpakking — maar het archief eromheen is nieuw.

Voor de verpakkingslezer is dat het detail dat bepaalt of dit gereedschap het juiste is. Controleert het recept een hash van het artefact, dan moet het artefact deterministisch gemaakt worden op een machine die je zelf beheert.

Op onze server, niet in je browser. Veel gereedschap op deze site zet om op je eigen apparaat; archiefwerk is een uitzondering, want het vraagt echte programma’s. Het bestand gaat over een versleutelde verbinding naar een container die 7-Zip en bzip2 draait, zonder uitgaande internettoegang.

Elke taak krijgt een scratchmap op een geheugengebaseerd bestandssysteem die weggegooid wordt zodra de taak eindigt, geslaagd of niet. De gratis laag accepteert 25 MB per geüpload bestand.

De enige eerlijke ratio is die gemeten op je eigen data, en dat kost twee minuten: comprimeer dezelfde TAR als GZ, als BZ2 en als XZ en zet de drie groottes naast elkaar. Op een broncodeboom of een set logbestanden is de volgorde meestal voorspelbaar — XZ kleinst, BZ2 in het midden, GZ grootst.

Weeg dan de getallen die je niet ziet in een bestandslijst. Hoe vaak wordt dit uitgepakt, en door wat? Gzip als het antwoord "constant, door machines" is. XZ als het antwoord "bijna nooit, door een gewone computer" is. BZ2 als iets het specificeerde.