Parquet

O que é um arquivo Parquet?

Armazenamento por colunas para grandes volumes. Bem menor e bem mais rápido de consultar que um CSV.

O que é Parquet

Parquet é um formato binário, que só significa alguma coisa para um programa que o conhece. Ele é usado para o arquivamento e mover dados entre programas.

A extensão é .parquet e o nome por extenso é Apache Parquet. Os dois importam menos do que aquilo que o arquivo consegue carregar, e é disso que trata o resto desta página.

De onde vem Parquet

A Apache Software Foundation publicou o formato em 2013.

A idade interessa por um motivo prático: quanto mais antigo o formato, mais programas tiveram tempo de aprendê-lo.

A especificação é pública

Qualquer um pode implementá-la sem pedir permissão nem pagar licença. É por isso que o formato aparece em tantos programas, e é por isso que arquivos escritos há vinte anos ainda abrem.

Nada é jogado fora

Parquet guarda o conteúdo exatamente. Salvar de novo não muda nada, então dá para abrir, editar e salvar quantas vezes você quiser sem acumular estrago — e é isso que faz dele um formato de trabalho e não de entrega.

O que ele faz para se proteger

Parquet traz uma soma de verificação, para que um arquivo danificado seja detectado em vez de lido errado em silêncio e criptografia opcional.

Um arquivo criptografado precisa ser destrancado antes que qualquer coisa possa convertê-lo, aqui e em qualquer outro lugar. Uma senha não é algo que um conversor contorne, e a um que dissesse o contrário você não deveria entregar o arquivo de jeito nenhum.

O que abre Parquet

pandas, Apache Spark e DuckDB leem esse formato, e a maioria dos programas do mesmo tipo também.

Quando um arquivo não abre, o formato raramente é o problema — mais comum é o programa ser mais antigo que ele. Converter para algo mais antigo é o caminho confiável, e é para isso que serve o resto deste site.

Abrir no navegador

Nenhum navegador lê o formato.

Esse é de longe o motivo mais comum para convertê-lo: não que o formato seja ruim, mas que o lugar onde você quer mostrar o arquivo não consegue lê-lo.

É um formato de entrega

Parquet foi feito para ser entregue, não para se trabalhar dentro dele. Editar um é possível e raramente agradável; o caminho sensato passa pelo original e por uma nova exportação.

O que dá errado com ele

As reclamações que se repetem: fora do próprio terreno o suporte é irregular.

Nada disso é motivo para evitar o formato. São as coisas que vale conhecer antes que uma delas te pegue de surpresa, o que é uma afirmação diferente e mais útil.

Os dados, num lugar só

Identificadores e procedência do formato Parquet.
Extensão.parquet
Tipo de mídiaapplication/vnd.apache.parquet
Publicado porApache Software Foundation
Primeira publicação2013

Converter Parquet para outra coisa

Converter outra coisa para Parquet

Formatos a considerar no lugar de Parquet