Cookies für Statistik und Werbung
Wir setzen Cookies für Statistik und Werbung ein, beides geht an Google. Wenn du ablehnst, ändert sich für dich sichtbar nichts.Zur Datenschutzseite
Parquet
Spaltenweise Speicherung für große Datenmengen. Weit kleiner und schneller abzufragen als CSV.
Parquet ist ein Binärformat, das nur einem Programm etwas sagt, das es kennt. Eingesetzt wird es für die Archivierung und den Austausch zwischen Programmen.
Die Endung lautet .parquet, der volle Name Apache Parquet. Beides sagt weniger aus als das, was die Datei halten kann — und davon handelt der Rest dieser Seite.
Apache Software Foundation hat es 2013 veröffentlicht.
Das Alter ist aus einem praktischen Grund interessant: je älter ein Format, desto mehr Programme hatten Zeit, es zu lernen.
Jeder darf sie umsetzen, ohne zu fragen und ohne zu zahlen. Deshalb taucht das Format in so vielen Programmen auf, und deshalb gehen Dateien von vor zwanzig Jahren heute noch auf.
Parquet speichert seinen Inhalt exakt. Erneutes Speichern ändert nichts, es lässt sich also beliebig oft öffnen, bearbeiten und wieder ablegen, ohne dass sich Schaden ansammelt — genau das macht es zu einem Arbeitsformat und nicht zu einem Ausgabeformat.
Parquet bringt eine Prüfsumme, mit der eine beschädigte Datei auffällt statt stillschweigend falsch gelesen zu werden und optionale Verschlüsselung mit.
Eine verschlüsselte Datei muss aufgeschlossen werden, bevor sie irgendetwas umwandeln kann — hier wie überall. Ein Passwort ist nichts, was ein Umwandler umgehen kann, und einem, der es behauptet, sollte man die Datei erst recht nicht geben.
pandas, Apache Spark und DuckDB lesen es, und die meisten Programme derselben Art ebenfalls.
Wenn eine Datei nicht aufgeht, liegt es selten am Format — häufiger daran, dass das Programm älter ist als das Format. Die Umwandlung in etwas Älteres ist der verlässliche Weg daran vorbei, und dafür gibt es den Rest dieser Website.
Kein Browser liest es.
Das ist der häufigste Grund, es umzuwandeln: nicht dass das Format schlecht wäre, sondern dass die Stelle, an der die Datei erscheinen soll, es nicht lesen kann.
Parquet ist zum Weitergeben gedacht, nicht zum Arbeiten. Eines zu bearbeiten ist möglich und selten angenehm; der vernünftige Weg führt über die Quelle und einen neuen Export.
Die wiederkehrenden Klagen: außerhalb des eigenen Reviers ist die Unterstützung lückenhaft.
Nichts davon ist ein Grund, das Format zu meiden. Es sind die Dinge, die man kennen sollte, bevor eines davon einen überrascht — das ist eine andere und eine nützlichere Behauptung.
| Endung | .parquet |
|---|---|
| Medientyp | application/vnd.apache.parquet |
| Herausgegeben von | Apache Software Foundation |
| Erstmals veröffentlicht | 2013 |