Converter TAR para BZ2

Quase todo mundo aqui foi instruído a isso. Uma receita de pacote lista .tar.bz2 nas fontes e calcula um hash contra esse nome. O processo de release de um projeto produz essa extensão desde 2006 e a página de download aponta para ela.

Nenhuma dessas situações vai mudar por um arquivo, e nenhuma está errada em resistir a mudar. Se você está escolhendo livremente e nada adiante liga, a recomendação honesta é fechar esta página e escolher gzip pela velocidade ou XZ pelo tamanho.

Bzip2, de 1996, faz algo estruturalmente diferente dos vizinhos. Corta a entrada em blocos de até 900 KB e aplica uma transformada Burrows-Wheeler em cada um, reordenando os bytes para que contextos idênticos fiquem adjacentes.

O registro grava o bloco de 900 KB como sua janela, e essa é a comparação justa contra os 32 KB do gzip: dentro de um bloco, bzip2 vê muito mais contexto. É também a comparação justa contra o dicionário de 64 MB do XZ, onde bzip2 perde.

Compressão é lenta porque a ordenação é cara, e isso é pago uma vez, numa máquina que não está esperando por você. Descompressão é a surpresa: desfazer uma ordenação por blocos é trabalho de verdade, então bzip2 é bem mais lento para descompactar que gzip.

Isso torna o formato uma escolha ruim para qualquer coisa buscada e desempacotada repetidamente. Uma dependência baixada em toda execução de CI, uma camada de container — cada uma delas paga o custo de descompressão toda vez.

Memória na descompressão. Bzip2 trabalha em blocos de no máximo 900 KB, então o buffer necessário é pequeno e fixo não importa quão grande seja o arquivo. XZ precisa de memória escalada ao dicionário com que o arquivo foi escrito.

Isso importa num conjunto mais estreito de lugares do que costumava, e os lugares são reais: roteadores e dispositivos embarcados, containers com limite de memória, um sistema antigo que ninguém tem permissão de atualizar.

BZ2 comprime exatamente um fluxo. Não tem campo para nome de arquivo, nem noção de diretório, nem forma de marcar onde um membro termina. Tudo que uma listagem de um .tar.bz2 mostra está sendo lido do TAR dentro dele.

Então a conversão desempacota o que você enviou, escreve um TAR novo a partir do conteúdo, e comprime isso com bzip2. O download chega com extensão .bz2 e deve ser renomeado para .tar.bz2, o que deixa tar xjf fazer o trabalho todo num comando.

Os blocos do bzip2 são comprimidos independentemente, o que dá ao formato uma propriedade que os vizinhos não têm: dano a um bloco não necessariamente destrói tudo depois dele.

Trate isso como um consolo em vez de uma estratégia. O TAR dentro é um fluxo contínuo de cabeçalhos e dados, então recuperar alguns blocos e não outros dá um tarball com buracos.

A conversão não envolve bzip2 ao redor do arquivo que você enviou. Ela extrai o TAR e escreve um novo, depois comprime isso. Os arquivos dentro são idênticos byte a byte — isso é um reempacotamento sem perdas — mas o arquivo ao redor deles é novo.

Para quem está empacotando, esse é o detalhe que decide se esta ferramenta é a certa. Se a receita confere um hash do artefato, o artefato tem que ser produzido de forma determinística numa máquina que você controla.

No nosso servidor, não no seu navegador. O arquivo vai por conexão criptografada até um container rodando 7-Zip e bzip2, e esse container não tem acesso à internet.

Cada tarefa ganha um diretório temporário num sistema de arquivos guardado em memória, apagado assim que a tarefa termina. O nível gratuito aceita 25 MB por arquivo enviado.

A única cifra de taxa honesta é a medida nos seus dados, e conseguir isso leva dois minutos: comprima o mesmo TAR como GZ, como BZ2 e como XZ e coloque os três tamanhos lado a lado.

Depois pese o que você não vê numa listagem de arquivo. Com que frequência isso vai ser desempacotado, e por quê? Gzip se a resposta for "constantemente, por máquinas". XZ se for "quase nunca, por um computador normal". BZ2 se algo especificou isso.