BZ2 in ZIP umwandeln

Wer an einem deutschen Institut mit älteren Datensätzen arbeitet, kennt die Situation: Ein Repositorium, das vor zehn oder fünfzehn Jahren aufgesetzt wurde — ein Archiv einer Fachgesellschaft, eine Sammlung, die aus einem DFG-geförderten Projekt übrig geblieben ist, ein Mirror einer Universität, dessen Skripte seit der Einrichtung niemand mehr angefasst hat —, liefert seine Downloads bis heute als `.tar.bz2` aus. Damals war bzip2 die starke Wahl unter den verfügbaren Werkzeugen, und die Veröffentlichungspipeline hat sich seither einfach nicht verändert.

Wer die Datei bekommt, hat selten die Wahl des Formats getroffen. Es geht nicht darum, sich zwischen bzip2 und einer Alternative zu entscheiden — es geht darum, an die enthaltenen Daten heranzukommen, auf einem Rechner, auf dem noch nie ein bzip2-Werkzeug installiert war. Genau das ist der Grund, warum diese Seite existiert.

BZ2 komprimiert einen einzelnen Datenstrom. Unser System verzeichnet das Format als Stream-Format mit genau einem Mitglied und listet das Fehlen einer Verzeichnisstruktur unter seinen bekannten Eigenschaften — es gibt in einer bzip2-Datei kein Feld für einen Namen, einen Pfad, Rechte oder einen Zeitstempel.

Alles, was man sich unter dem Archiv vorstellt, steckt also im TAR darunter: Kopfblöcke mit jedem Dateinamen, Inhalte nacheinander, keine eigene Kompression und kein Index. bzip2 sieht einen langen Bytestrom und erfährt nie, dass darin Dateien stecken. Beide Schichten zu entpacken macht aus dem Download wieder ein Verzeichnis; nur die erste zu entpacken lässt Nutzer glauben, das Archiv sei defekt. Dieselbe Struktur ergibt auch `.tar.gz` und `.tar.xz`, sodass alles hier Gelernte direkt auf die beiden anderen Endungen übertragbar ist, denen man in denselben Ecken des Internets begegnet.

Ein gzip-Kopf kann den ursprünglichen Dateinamen dessen tragen, was komprimiert wurde. Ein bzip2-Kopf trägt nichts dergleichen — nur genug, um die Blockgröße zu benennen. Dieser Unterschied fällt erst auf, wenn etwas herausfinden will, was gerade entpackt wurde.

Die erste Fassung dieses Konverters tat genau das: Sie prüfte am extrahierten Objekt, ob dessen Name auf `.tar` endete, bevor sie ein zweites Mal entpackte. Bei gzip, dessen Kopf den Namen lieferte, funktionierte das. Bei bzip2 und xz, die keinen liefern, versagte es lautlos: Dasselbe Tar-Archiv kam unter einem anonymen Namen an, die Prüfung übersah es, und das Ergebnis enthielt einen einzigen undurchsichtigen Klumpen statt der eingegangenen Dateien. Heute wird der Tar-Typ am Inhalt festgestellt, nicht an einem Namen vertraut — deshalb kann diese Seite versprechen, dass beide Schichten wirklich entfernt werden.

bzip2 liest Blöcke von bis zu 900 KB, sortiert Rotationen jedes Blocks mit einer Burrows-Wheeler-Transformation, sodass ähnliche Kontexte nebeneinanderrücken, und komprimiert das Ergebnis. Der ganze Block ist der Kontext. ZIP dagegen komprimiert jede Datei einzeln mit einem 32-KB-Fenster und beginnt bei jedem Eintrag neu.

Bei dem Material, das in einem `.tar.bz2` landet — Textkorpora, Logdateien, Quellcodebäume, XML, tabellarische Exporte — ist das ein echter Unterschied, und das ZIP wird spürbar größer. Bei einem Archiv aus Bildern oder Video liegen beide nah beieinander, weil vorher schon nichts mehr zu komprimieren war. Wer die Größe wichtiger findet als die Kompatibilität, sollte das Archiv lassen, wie es ist, und ein Werkzeug installieren, das es liest — jedes Format, das ein gewöhnlicher Rechner ohne Zusatzsoftware öffnet, komprimiert schwächer als das, was bereits vorliegt.

Die meisten Kompressoren entpacken deutlich schneller, als sie komprimieren. bzip2 ist die Ausnahme, der man begegnet: Die Blocksortierung rückgängig zu machen ist echte Rechenarbeit statt einer bloßen Kopie, deshalb ist das Entpacken langsamer, als man es von gzip oder xz gewohnt ist.

Innerhalb der 25 MB, die der kostenlose Rahmen annimmt, sind das eine oder zwei Sekunden und fällt nicht auf. Es ist trotzdem der Grund, warum das Format seinen Platz verloren hat: xz entpackt schneller und komprimiert stärker, was bzip2 auf keiner der beiden Achsen ein Argument gelassen hat. Was bzip2 seinen beiden Nachbarn bis heute voraushat, ist Schadensbegrenzung — ein Haltbarkeitsargument, kein Geschwindigkeitsargument, weshalb das Format in Archivecken überlebt und sonst nirgends.

Eine Sache beherrscht bzip2 wirklich gut: Schäden einzudämmen. Jeder Block wird für sich komprimiert, sodass ein beschädigter Bereich nur diesen Block kostet und nicht alles danach, und es gibt Rettungswerkzeuge, die die intakten Blöcke aus einer beschädigten Datei herausziehen.

Das lohnt sich zu wissen, bevor ein altes Archiv umgewandelt wird, das auf einem sterbenden Datenträger gelegen hat. Schlägt die Umwandlung hier fehl, lässt sich das Archiv möglicherweise noch teilweise mit einem lokalen bzip2-Rettungswerkzeug retten, und das ist der bessere nächste Schritt als wiederholtes Hochladen. Eine Umwandlung braucht ein vollständiges, lesbares Archiv; Rettung ist eine andere Aufgabe für ein anderes Werkzeug.

Nicht jede bzip2-Datei ist ein Tarball. Ein einzelner komprimierter Datenbankauszug, eine große Logdatei, eine exportierte Tabelle — bzip2 auf eine einzelne Datei angewendet ist das Format genau so verwendet, wie es gedacht war, ohne beteiligtes TAR.

Der Konverter versucht, den entpackten Inhalt als TAR zu lesen, und behandelt ihn, wenn das scheitert, als die eine Datei, die er ist. Heraus kommt ein ZIP mit genau dieser Datei. Der einzige Preis der Mehrdeutigkeit betrifft den Namen: Weil bzip2 keinen gespeichert hat, ist der Eintrag im ZIP nach der Verarbeitungskette benannt, nicht nach etwas, das das Archiv sich gemerkt hätte.

Dieses Paar läuft nicht im Browser — Archive zu entpacken und neu zu schreiben braucht echte Programme. Die Datei geht verschlüsselt an unseren Konverter, wird entpackt, ausgewickelt, als ZIP verpackt und zurückgegeben. Alles, was der Auftrag geschrieben hat, einschließlich des Zwischen-Tars, wird gelöscht, sobald er endet.

Das Arbeitsverzeichnis verschwindet mit dem Container, sobald der Auftrag endet. Kostenlose Uploads enden bei 25 MB, und ein Archiv, das mehr als 2 GB an Inhalt ankündigt, wird schon vor dem Entpacken abgelehnt. Bei zwei Schichten braucht dieses Paar drei einzelne Arbeitsschritte hintereinander — Entpacken, Auswickeln, Neupacken —, und jeder für sich wird nach sechzig Sekunden abgebrochen, nicht der ganze Auftrag; ein größeres Archiv darf also länger als eine Minute laufen. Ist das Archiv vertraulich statt nur alt, erledigen 7-Zip und Keka dieselbe Aufgabe offline.

Leserinnen und Leser dieser Seite stellen manchmal fest, dass sie eher die verantwortliche Stelle sind als die Empfängerin — wer den Download geerbt hat, mit dem jetzt alle kämpfen, und wer entscheiden kann, was beim nächsten Mal veröffentlicht wird. In dem Fall ist das nützliche Ergebnis dieser Umwandlung nicht das ZIP, sondern die Entscheidung, die sie anstößt, denn sonst wird jede künftige Nutzerin dieselbe Suche wiederholen, die gerade hierher geführt hat.

Für ein Publikum, das in einer Shell entpackt, komprimiert `.tar.xz` besser als bzip2 und entpackt deutlich schneller, und jeder relevante Rechner hat es bereits. Für ein Publikum am Desktop ist ein ZIP die Datei, die ohne Anleitung aufgeht. Beides zu veröffentlichen ist keine Unentschlossenheit — es sind zwei Zielgruppen mit unterschiedlichen Werkzeugen, das Archiv kostet fast nichts, es zweimal zu erzeugen, und weiterhin nur bzip2 auszuliefern nützt keiner der beiden Gruppen besonders.

Archive, die auf dieser Seite landen, sind oft alt, und alte Dateien sind meist schon mehrfach zwischen Rechnern kopiert worden. Bevor ein Fehlschlag hier als unser Problem gilt, lohnt sich eine Prüfung an Ort und Stelle: `bzip2 -t` prüft den komprimierten Strom, ohne etwas zu schreiben, und jedes Archivierungswerkzeug meldet eine Prüfsummenabweichung, statt beschädigten Inhalt weiterzureichen, denn bzip2 speichert eine CRC für jeden Block und eine für die ganze Datei.

Scheitert diese Prüfung, wird auch die Umwandlung hier scheitern, und wiederholtes Hochladen ändert daran nichts. Was etwas ändern kann, ist ein Rettungswerkzeug, das die Datei Block für Block durchgeht und die intakten rettet — praktikabel gerade deshalb, weil bzip2 jeden Block unabhängig komprimiert. Erst retten, dann umwandeln. Ein Konverter braucht ein vollständiges, lesbares Archiv; ein beschädigtes zu retten ist eine andere Aufgabe für ein anderes Programm, und beides in der falschen Reihenfolge kostet einen Nachmittag.