RAR in XZ umwandeln

Deutsche Gedächtnisinstitutionen — die Deutsche Nationalbibliothek, Landesarchive, universitäre Forschungsdatenrepositorien — richten sich bei der Langzeitarchivierung an Kriterien wie denen des Kompetenznetzwerks nestor oder an DIN 31644 aus, und dort taucht praktisch immer dieselbe Anforderung auf: ein Format mit veröffentlichter Spezifikation und mehr als einer unabhängigen Implementierung. RAR erfüllt das nicht — es gibt genau einen Hersteller, der Archive schreiben kann, mit einer Lizenz, die das auch so bleiben lässt.

Diese Umwandlung ist deshalb selten eine Frage der Bytes. Sie ist eine Frage der Custody: Wer ein Depot, eine Publikation oder eine Datenablage anlegt, die in fünfzehn Jahren noch lesbar sein soll, wählt ein Format, das nicht von der Geschäftsentscheidung eines einzelnen Unternehmens abhängt.

RAR gilt in der Registry als solid — die Mitglieder werden vor dem Komprimieren zu einem durchgehenden Strom zusammengefasst, damit Wiederholungen zwischen Dateien gefunden werden, nicht nur innerhalb jeder einzelnen. XZ hat dabei gar keine Wahl: Es komprimiert genau einen Strom, ist also von Natur aus solid, und arbeitet mit einem LZMA2-Wörterbuch von bis zu 64 MB.

Zwei ähnlich moderne solide Kompressoren auf denselben Daten liefern deshalb ähnliche Ergebnisse. Bei Textinhalten landet XZ oft leicht darunter, weil das größere Wörterbuch weiter zurückgreift, bei bereits komprimierten Inhalten wickelt einer von beiden nur ein weiteres Mal um dieselben Bytes. Wer eine dramatische Ersparnis erwartet, wird sie hier nicht finden — wer eine dramatische Einbuße beim Verlassen von RAR befürchtet, kann diese Sorge ebenso ablegen.

Jedes andere Archiv auf dieser Seite läuft über 7-Zip, RAR nicht, weil Debian 7-Zip ohne den RAR-Codec baut. Ein eigenes Programm übernimmt das: unrar-free, GPL-lizenziert und im Hauptbereich von Debian, als eigener Prozess gestartet, wobei der Dateipfad hinter einem -- übergeben wird, damit ein Dateiname niemals als Option interpretiert werden kann.

Der Standardweg wäre RARLABs eigenes unrar aus dem Non-free-Bereich gewesen, und die freie Variante hat sich in einem realen Test als fähig erwiesen, ein echtes RAR5-Archiv zu lesen, statt wie ihr Ruf es nahelegt auf RAR4 beschränkt zu sein. Für ein archivarisches Werkzeug ist das kein Detail: Das lesende Programm ist selbst freie Software mit veröffentlichtem Quelltext, ein Baustein weniger in einer Kette, die alle ihre Bestandteile überdauern soll.

Ein RAR-Archiv ist ein Container: Es verzeichnet Name, Pfad, Größe und Prüfsumme jedes Mitglieds im Archiv selbst, weshalb sich ein RAR sofort auflisten lässt. XZ speichert davon nichts. Es komprimiert einen anonymen Strom und legt eine Integritätsprüfung darüber — die fehlende Verzeichnisstruktur führt die Registry ausdrücklich als bekannten Nachteil des Formats.

Die Umwandlung entpackt das RAR-Archiv deshalb zunächst, sammelt alles in einem frischen TAR — 512-Byte-Header je Mitglied, mit Feldern für Name, Pfad, Zugriffsrechte und Zeitstempel — und komprimiert diesen Tarball mit xz. Der Tarball wird aus dem entpackten Verzeichnis heraus gebaut, die Dateien liegen also auf oberster Ebene und nicht in einem zusätzlichen Ordner. Für ein Depot ist das die richtige Form: Das TAR ist die Ebene, die ein späterer Leser tatsächlich auswertet, dokumentiert als POSIX.1-2001 ustar und seit 1979 stabil.

Der Sinn eines offenen Formats für die Archivierung ist keine Grundsatzfrage, sondern Arithmetik über das Scheitern. Ein Format mit veröffentlichter Spezifikation kann jeder nachbauen, der es braucht; ein Format mit einem Hersteller und einer Lizenz, die kompatible Programme verbietet, nicht. Die Registry führt für RAR „proprietary" und für XZ „open" — das eine Wort macht den ganzen Unterschied zwischen „wir können notfalls selbst einen Leser schreiben" und „wir hoffen, dass es noch verkauft wird".

Die Verbreitung folgt derselben Eigenschaft. xz ist auf praktisch jeder Linux-Distribution vorinstalliert, weil der Paketmanager selbst darauf aufbaut; GNU tar versteht -J seit Version 1.22; 7-Zip und Keka lesen es unter Windows und macOS. WinRAR ist unter Windows ein kostenpflichtiges Produkt, und 7-Zip liest RAR nur dort, wo der Codec eingebaut wurde — wie diese Seite selbst zeigt, ist das keine Selbstverständlichkeit.

Vier Dinge fallen weg, und jedes davon lohnt einen Blick vor der Umwandlung. Erholungsdatensätze zuerst: WinRAR kann Redundanz einbetten, mit der ein beschädigtes Archiv sich selbst repariert, und XZ kennt dieses Konzept nicht. Verschlüsselung fällt ebenfalls weg — RAR verschlüsselt, XZ nicht, ein geschütztes Archiv lässt sich also gar nicht erst mitnehmen. Archivkommentare gehen still verloren, und wenn der Kommentar die einzige Notiz zur Herkunft einer Dateisammlung war, ist das ein echter Verlust für ein Depot.

Die Prüfsumme je Mitglied ist der vierte und folgenreichste Punkt. Ein RAR-Archiv weiß, welches Mitglied beschädigt ist; ein .tar.xz kann nur sagen, dass der Strom beschädigt ist, weil es auf dieser Ebene gar keine einzelnen Mitglieder mehr gibt. Wenn Integrität über Jahrzehnte Teil der Anforderung ist, ist die Antwort kein besserer Kompressor, sondern ein Verzeichnis mit Prüfsummen neben dem Archiv, eine zweite Kopie und ein Speicher, der prüft, was er zurückgibt — dieses Verzeichnis schreibt man, solange beide Dateien noch vorliegen.

Ein passwortgeschütztes RAR-Archiv bricht mit einer Meldung ab, statt hängen zu bleiben. Der Entpacker wird so aufgerufen, dass ein verschlüsseltes Archiv die Ablehnung sofort meldet, statt auf eine Eingabe an einem Terminal zu warten, das gar nicht angeschlossen ist — genau das Verhalten, das ein Dienst haben sollte: ein Satz statt eines Timeouts. Lokal mit WinRAR oder 7-Zip entschlüsseln und das entschlüsselte Archiv umwandeln.

Ein mehrteiliges Archiv — part1.rar, part2.rar und so weiter — lässt sich ebenfalls nicht bearbeiten, weil das Zusammensetzen alle Teile gleichzeitig braucht und diese Umwandlung eine Datei pro Auftrag entgegennimmt. Die Teile müssen vorher auf dem eigenen Rechner zusammengeführt werden. Beides kommt gerade in den Archiven häufig vor, die jetzt abgelöst werden sollen, weil Aufteilung und Passwortschutz in der Zeit, als RAR die Standardwahl war, üblich waren — ein Blick über die ganze Sammlung lohnt sich deshalb, bevor eine größere Migration geplant wird.

Auf unserem Server, nicht im eigenen Browser. Die meisten Werkzeuge auf dieser Seite wandeln direkt auf dem eigenen Gerät um und sagen das auch so — dieses Paar kann das nicht, weil es sowohl einen RAR-Entpacker als auch xz als echte Programme braucht. Die Datei reist über eine verschlüsselte Verbindung zu einem Container, der beides ausführt, und der Container hat keinen eigenen Zugang zum offenen Internet.

Jeder Auftrag bekommt ein eigenes, speicherbasiertes Arbeitsverzeichnis, das mit dem Ende des Auftrags gelöscht wird, ganz gleich wie er ausging. Diese Umwandlung läuft dabei als Kette mehrerer einzelner Programme — Entpacken, Bündeln zum TAR, Komprimieren mit xz —, und jedes dieser Programme für sich wird abgebrochen, wenn es länger als sechzig Sekunden braucht. Der gesamte Auftrag darf deshalb in der Summe länger dauern als sechzig Sekunden, solange kein einzelner Schritt diese Grenze reißt. Die kostenlose Nutzung erlaubt 25 MB je hochgeladener Datei, und ein Archiv wird schon vor dem Entpacken abgelehnt, wenn seine eigene Auflistung eine Entpackgröße über 2 GB angibt.

Ein Depot wird auch an seiner Dokumentation gemessen, und dies ist der Moment, sie zu schreiben. Ursprünglichen RAR-Dateinamen, Größe, Prüfsumme und Datum notieren, dazu den Vermerk, dass der Inhalt unverändert als .tar.xz neu verpackt wurde. Genau dieser Satz sagt einem künftigen Leser — oder einem selbst in fünf Jahren —, dass eine Abweichung zwischen Katalogeintrag und Datei auf der Platte eine Neuverpackung war und keine Ersetzung.

Danach prüfen, bevor irgendetwas gelöscht wird: tar tJf über das Ergebnis, Eintrag für Eintrag gegen die RAR-Auflistung verglichen — gleiche Anzahl, gleiche Pfade, gleiche Größen. Das ist eine verlustfreie Neuverpackung, eine Abweichung ist also nie beschädigte Daten, sondern eine strukturelle Überraschung, und genau auf oberster Ebene würde sie sich zeigen. Stimmen die Auflistungen überein und liegt das Prüfsummenverzeichnis neben dem Archiv, hat das RAR nichts mehr zu tun, und die proprietäre Abhängigkeit ist aus der Sammlung heraus.