7Z in TAR umwandeln

Niemand wandelt zum Aufbewahren um. Der Anlass ist fast immer etwas weiter unten in der Kette, das ausschließlich Tarbälle liest: ein Build-Kontext für einen Container, ein Paketierskript, eine Importschnittstelle, eine Deploy-Pipeline, die gegen tar -x geschrieben wurde. Die Archivdatei war ein 7Z, weil wer sie erstellt hat auf die Größe geachtet hat — LZMA2 mit einem Wörterbuch von bis zu 64 MB komprimiert deutlich stärker als jedes andere Format auf dieser Seite.

Der Tarball ist damit ein Zwischenstand, keine Ablage. Beurteilen lässt er sich daran, ob der nächste Schritt ihn annimmt, nicht an seiner Größe, und er darf gelöscht werden, sobald dieser Schritt gelaufen ist. Das ist der Rahmen für alles, was folgt, denn nach jedem anderen Maßstab macht diese Umwandlung die Datei schlechter: größer, nicht schneller zu bewegen, für einen Menschen nicht leichter zu öffnen.

7Z ist solide gepackt: Alle Mitglieder werden als ein einziger fortlaufender Strom komprimiert, sodass sich Wiederholungen über zig Megabyte hinweg nur einmal niederschlagen. TAR kennt in derselben Kategorie den Wert „keine Kompression".

Die gesamte Arbeit von oben wird also rückgängig gemacht, und nichts ersetzt sie. Ein 7Z eines Quellbaums oder einer Dokumentensammlung kann sich dabei um ein Vielfaches vergrößern, was diese Umwandlung zur größten Ausgabe unter allen Archivpaaren dieser Seite macht und zu der, die eine Downloadanzeige am ehesten überrascht. Das ist kein Fehler — beide Formate beantworten unterschiedliche Fragen, und nur eine davon ist die Größe. Für den Speicherort danach planen, nicht für das, was man hochgeladen hat: 25 MB dürfen hochgeladen werden, ein Download in einem Vielfachen davon ist keine Überraschung.

Archive enthalten manchmal andere Archive, und ein Umwandler muss entscheiden, ob so eine innere Datei Verpackung oder Inhalt ist. Die Regel hier ist eindeutig: Bei einer GZ-, BZ2- oder XZ-Quelle wird ein einzelnes darin liegendes Tar als Schicht behandelt und ausgepackt, weil diese drei Formate jeweils nur einen einzigen Strom aufnehmen und ein Tar darunter der einzige Weg ist, ein Verzeichnis zu transportieren.

Bei einem 7Z gilt das Gegenteil. Es ist ein echter Container, der viele benannte Dateien aufnehmen kann, also ist ein darin liegendes .tar etwas, das jemand absichtlich hineingelegt hat — ein verschachteltes Archiv, ein Testfixture, eine Nutzlast für etwas anderes. Es auszupacken würde still verändern, was das Archiv enthält, deshalb bleibt es als Datei erhalten, und heraus kommt ein Tar mit einem Tar darin. Das sieht ungewöhnlich aus und ist trotzdem die richtige Antwort.

Weil 7Z solide gepackt ist, gibt es keinen günstigen Weg, nur einen Teil davon zu lesen. Die Mitglieder sind ein einziger Strom, eine Datei in der Mitte zu erreichen bedeutet also, alles davor zu entpacken — weshalb das Entpacken eines großen soliden Archivs ungefähr gleich viel kostet, egal ob eine Datei gebraucht wird oder alle.

Für diese Umwandlung kostet das nichts zusätzlich, denn jedes Mitglied wird ohnehin gebraucht. Wichtig ist es für den umgekehrten Fall: Wer wiederholt einzelne Dateien aus einem Archiv herausgreift, statt es einmal komplett zu entpacken, ist mit einem soliden Format schlecht bedient — und ein Tarball ist dabei seltsamerweise nicht viel besser, weil er überhaupt kein Register hat und ein Auflisten bedeutet, ihn von vorn zu lesen. ZIP ist das Format, das dieses Problem tatsächlich löst, ein guter Grund, die drei nicht für austauschbar zu halten.

TAR hält für jedes Mitglied einen Dateimodus, einen Benutzer und eine Gruppe fest, und genau deshalb mögen Paketierwerkzeuge Tarbälle. Werte erfinden kann es nicht. Was im Ergebnis steht, stammt vom Entpacken auf unserem Umwandler und nicht von der Maschine, auf der die Dateien ursprünglich lagen.

Behandle die Rechte deshalb als unbestimmt statt als übernommen, und setze, was zählt, nach dem Entpacken ausdrücklich. Das ausführbare Bit an einem Skript ist der übliche Verlust, und er fällt spät auf — nämlich dann, wenn ein Deploy-Schritt mit einer Berechtigungsmeldung abbricht statt mit einem sichtbaren Hinweis auf das Archiv.

In vielen deutschen Firmen gehört ein verschlüsseltes 7Z zur Standardpraxis, sobald Kundendaten oder personenbezogene Angaben eine Abteilung verlassen — die integrierte AES-256-Verschlüsselung von 7-Zip ist eine der gängigen Antworten auf die datenschutzrechtliche Vorgabe, Daten bei der Übertragung angemessen zu schützen. Genau ein solches Archiv nimmt dieser Umwandler nicht an.

Der Entpacker bekommt bewusst ein leeres Kennwort mitgegeben, damit ein geschütztes Archiv sofort und mit einer lesbaren Meldung scheitert, statt auf eine Eingabe zu warten, die nirgendwo erscheinen kann. Der Schutz muss also lokal entfernt werden, bevor das offene Archiv hier umgewandelt wird — und das ist auch inhaltlich richtig: Ein Kennwort ist etwas, das ein Behälter über seinen Inhalt weiß, und ein TAR könnte diese Information ohnehin nicht ausdrücken.

Ein häufiger Grund, einen reinen Tarball zu wollen, ist die Absicht, ihn selbst mit eigenen Einstellungen neu zu komprimieren — einer bestimmten Stufe, einem bestimmten Wörterbuch, einer deterministischen Einstellung für einen reproduzierbaren Build, oder einem Packer, den ein nachgelagerter Cache versteht.

Das 7Z dafür auseinanderzunehmen ist der ehrliche Weg, denn ein bereits komprimierter Strom lässt sich nicht in ein anderes Verfahren umrechnen, ohne ihn vorher zu entpacken. Sind die Anforderungen gewöhnlich statt speziell, erledigt eine direkte Umwandlung von 7Z nach GZ denselben Umweg in einem Schritt und liefert am Ende ein .tar.gz.

Dieses Paar läuft auf unserem Umwandler und nicht auf der Seite selbst. Das Archiv geht verschlüsselt dorthin, wird mit 7-Zip entpackt, aus dem entpackten Verzeichnis heraus als Tarball neu geschrieben und zurückgegeben. Der Upload und jeder Zwischenstand werden gelöscht, sobald der Auftrag endet — in einem speicherbasierten Arbeitsverzeichnis, das mit dem Container verworfen wird.

Die Grenzen, mit denen zu rechnen ist: 25 MB je Upload auf der kostenlosen Stufe, sechzig Sekunden bis ein Auftrag abgebrochen wird, und eine Ablehnung für jedes Archiv, das mehr als 2 GB entpackten Inhalt ankündigt. Das Uploadlimit gilt für das, was hochgeladen wird — ein kompaktes 7Z kann also einen Download hervorbringen, der um ein Vielfaches größer ist als die Datei, mit der alles begann.

Zwei Ablehnungen sind wichtig zu kennen. Ein verschlüsseltes 7Z stoppt sofort, wie oben beschrieben. Und ein Archiv, das sich am Ende als leer herausstellt, bekommt eine schlichte Meldung statt eines gültigen, aber leeren Tarballs.

Die Expansionsprüfung ist der dritte Fall. Bevor irgendetwas auf die Platte geschrieben wird, wird das Archiv gefragt, was es zu enthalten behauptet, und eine Angabe über 2 GB wird abgelehnt — ein Schutz gegen Dateien, die gebaut wurden, um ein Dateisystem zu füllen, und gelegentlich gegen ein ehrliches Archiv, das schlicht zu groß für einen Webdienst ist.

Soll der Tarball weiterreisen — hochgeladen, abgerufen, zwischen Maschinen kopiert, in einem Cache abgelegt —, ist die unkomprimierte Form die falsche Wahl, und sie ist es, die eine langsame Leitung am ehesten wie einen Defekt aussehen lässt. Jedes Einzelstrom-Ziel dieser Seite entsteht, indem der Inhalt zuerst getart und danach komprimiert wird, sodass eine Umwandlung von 7Z nach GZ denselben Tarball mit gzip drumherum in einem Schritt liefert.

TAR wählen, wenn ein Werkzeug einen nackten Tarball erwartet und selbst komprimiert oder auch nicht. GZ wählen, wenn die Datei über ein Netz geht oder in einem Paket-Cache landet. In einer Dateiliste sehen beide fast identisch aus und verhalten sich in einer Pipeline sehr unterschiedlich — die falsche Wahl zeigt sich meist als eine Übertragung, die eine Größenordnung länger dauert, als irgendjemand eingeplant hatte, mehrere Schritte von der Entscheidung entfernt, die sie verursacht hat.

Wer denselben Ordner lokal mit tar -cf packt und das Ergebnis mit dem hier erzeugten vergleicht, wird zwei unterschiedliche Dateien finden, obwohl der Inhalt derselbe ist. Der Grund liegt nicht in einem Fehler, sondern darin, dass ein Tarball die Reihenfolge und die Zeitstempel der Dateien mitschreibt, und die Reihenfolge, in der 7-Zip sie beim Entpacken auf die Platte legt, ist nicht notwendigerweise dieselbe, in der ein lokales tar-Kommando sie einliest.

Für ein Build-Werkzeug, das nur den Inhalt vergleicht, ist das ohne Belang. Für einen Prozess, der Prüfsummen ganzer Tarbälle vergleicht, ist es der Unterschied zwischen zwei Dateien, die inhaltlich identisch sind und trotzdem verschieden aussehen — ein Punkt, der sich lohnt zu kennen, bevor eine solche Prüfung fälschlich Alarm schlägt.