MD5-hash maken

MD5 is botsingsgevoelig: je kunt twee verschillende invoeren maken die dezelfde hash opleveren, en sinds 2004 kost dat geen rekencluster meer maar seconden op gewone hardware. Dat is wat het onbruikbaar maakt overal waar de hash iets moet vastleggen dat een ander niet mag vervangen.

Wat niet gebroken is, is het terugrekenen. Uit een MD5 de oorspronkelijke tekst afleiden is nog steeds niet doenlijk — maar dat helpt niet, want een aanvaller hoeft jouw tekst niet te vinden. Hij hoeft alleen een tweede tekst te maken met dezelfde hash, en die vrijheid is precies wat botsingen hem geven.

MD5 is ontworpen om snel te zijn, en dat is voor wachtwoorden de verkeerde eigenschap. Een gewone videokaart rekent er miljarden per seconde doorheen, dus een lijst gehashte wachtwoorden uit een gelekte database is met een woordenboek binnen een dag grotendeels open.

Wat wel deugt zijn functies die met opzet traag en geheugenintensief zijn: bcrypt, scrypt en Argon2. Ze hebben een instelbare kostenfactor, zodat de verdediging meegroeit met de hardware. Een salt erbij helpt tegen kant-en-klare tabellen en verandert niets aan de snelheid, en snelheid is hier het hele probleem.

Als checksum tegen toevallige beschadiging is MD5 in orde. Een bestand dat halverwege een overdracht is afgekapt of een schijf met een omgevallen bit levert een andere hash op, en daar is geen tegenstander bij betrokken die iets probeert te vervalsen.

Hetzelfde geldt voor cachesleutels, deduplicatie en het snel vergelijken van grote hoeveelheden inhoud. In al die gevallen is de vraag «zijn deze twee dingen hetzelfde», gesteld aan gegevens die niemand kwaad wil doen. Zodra iemand er belang bij heeft dat twee verschillende dingen hetzelfde lijken, is MD5 de verkeerde keuze.

Een MD5 is altijd 128 bits, geschreven als tweeëndertig hexadecimale tekens. De lengte hangt niet af van de invoer: een leeg tekstveld en een boek van duizend bladzijden leveren allebei tweeëndertig tekens op.

Dat maakt de lengte tot de snelste controle die er is. Zesendertig tekens betekent dat er streepjes in zitten en dat je naar een UUID kijkt, veertig betekent SHA-1, vierenzestig SHA-256. Krijg je een waarde binnen waarvan je het algoritme niet weet, dan geeft tellen het antwoord in twee seconden.

De meest voorkomende reden dat een waarde hier niet overeenkomt met wat `md5sum` in een terminal geeft, is één byte: `echo test | md5sum` hasht `test` mét een afsluitend regeleinde, want dat is wat `echo` toevoegt. Met `echo -n` valt het weg en komt de waarde wel overeen.

Hetzelfde geldt voor een tekstbestand dat je editor met een lege regel aan het eind bewaart, wat op Unix de conventie is. De hash weet niet dat die byte er onbedoeld bij zit; hij hasht wat er staat. Bij een verschil is dit de eerste plek om te kijken, nog vóór de codering.

Een hash wordt over bytes berekend, niet over tekens, dus de codering hoort bij de vraag. Hier is dat altijd UTF-8, waar een `ë` de twee bytes `c3 ab` is. In Latin-1 zou dezelfde letter één byte `eb` zijn geweest, en dan is de hash een andere.

Daarom loopt een vergelijking tussen twee systemen juist mis bij woorden als «ideeën» of «café» en niet bij `test`. Komen twee waarden niet overeen en zitten er niet-ASCII-tekens in, dan is het verschil vrijwel zeker de codering en niet het algoritme — en dat verschil zit een laag onder de hash.

Deze pagina hasht tekst uit een veld en neemt geen bestanden aan. Dat is een keuze: wie de MD5 van een bestand nodig heeft, heeft die bijna altijd al bij de hand met `md5sum`, `certutil -hashfile` of `Get-FileHash` in PowerShell, en heeft er geen webpagina voor nodig.

De vraag die wél vaak in een browser komt is de andere: een waarde uit een database vergelijken, een cachesleutel nabouwen, controleren wat een oude koppeling van een tekst maakt. Daar past een tekstveld bij, en het scheelt bovendien dat er geen bestand hoeft te worden ingelezen dat er niet toe doet.

Veel cachelagen zetten een lange sleutel — een URL met parameters, een query met filters — door MD5 heen om er iets van vaste lengte van te maken. Dat is een legitiem gebruik: er is geen tegenstander, alleen een sleutelruimte die netjes moet zijn.

De valkuil zit ergens anders. Als de invoer voor die sleutel per ongeluk iets weglaat — de taal, de gebruikersrol, een filter — dan delen twee verzoeken die verschillende antwoorden horen te krijgen één sleutel, en krijgt de een het antwoord van de ander. De hash is dan niet stuk; de sleutel was onvolledig.

Een MD5 van een e-mailadres wordt met enige regelmaat gepresenteerd als geanonimiseerde vorm, en dat is ze niet. De verzameling bestaande adressen is klein genoeg om domweg door te rekenen: wie een lijst adressen heeft, hasht die en zoekt op, en dat kost geen noemenswaardige tijd.

Precies dat mechanisme zit achter de avatars van Gravatar, waar de MD5 van je adres in de afbeeldings-URL staat. Het is niet omkeerbaar in de wiskundige zin en het is in de praktijk volstrekt herleidbaar, en dat is het verschil dat bij dit soort claims steeds wordt overgeslagen.

Een salt hoort bij het opslaan van wachtwoorden, en daarvoor is MD5 hoe dan ook de verkeerde functie. Een saltveld hier zou de indruk wekken dat de combinatie iets veiligs oplevert, en dat doet ze niet: een gesalte MD5 is nog steeds miljarden pogingen per seconde per videokaart.

Wie een salt nodig heeft, heeft bcrypt, scrypt of Argon2 nodig, en die genereren en bewaren hun salt zelf in de uitvoerreeks. Dat hier weglaten is geen ontbrekende functie maar het weigeren van een uitnodiging tot iets dat er goed uitziet en niet werkt.

Een hash van een persoonsgegeven blijft onder de AVG een persoonsgegeven zolang de herleiding mogelijk is, en bij adressen, telefoonnummers en klantnummers is ze dat: de verzameling is klein en doorrekenen is goedkoop. Het is pseudonimisering, niet anonimisering, en dat onderscheid heeft rechtsgevolgen.

Wat deze pagina wel zeker stelt is het praktische deel: de tekst die je erin plakt wordt op je eigen machine gehasht en niet aan ons verstrekt. Het netwerktabblad laat zien dat er geen verzoek vertrekt dat je invoer draagt, en bij een adres of een klantnummer is dat het enige dat telt.