Enhver computerfil består af bytes. En byte kan tage værdier fra 0 til 255. Informationsentropi er en statistisk parameter, der viser sandsynligheden for forekomst af visse bytes i en fil.
Du kan visuelt vurdere graden af entropi ved hjælp af et histogram - fordelingen af sandsynligheden for at gentage de samme bytes i en fil. Fra filens entropi kan vi gætte, hvilken type fil der er foran os, idet vi kun ser dens histogram.
Lad os tage tre filer af forskellige typer til demonstration og sammenligne deres histogrammer. Lad den første være en tekstfil (*. TXT). Dens histogram er vist i figuren:
Tekstfilen indeholder kun tekst. Hvert tegn i teksten er kodet med visse byte i overensstemmelse med kodningstabellen. Selvom der er et stort antal kodningstyper, er det indlysende, at der er et begrænset antal alfanumeriske tegn, som normalt er mindre end 255. Derfor er kun nogle områder optaget på det første histogram, og nogle bytes er slet ikke.
Følgende fil vil være i PDF-format:
Denne fil indeholder alle mulige byte, da PDF er kodet forskelligt fra tekstfiler. Den gemmer en masse serviceoplysninger: formatering, skrifttyper, billeder osv. Men dets histogram viser, at nogle af bytes forekommer med omtrent samme sandsynlighed, mens andre - meget oftere end andre. Derfor er de flere skarpe udbrud på histogrammet, og generelt har det et ret "ragget" udseende, selvom det optager hele den tilgængelige bredde.
Og den sidste fil er zip i 7Z-format:
Dette histogram har to hovedfunktioner: For det første findes alle bytes i den zip-fil med mere eller mindre lige sandsynlighed (en ret flad øverste kant), og for det andet er der praktisk talt ikke noget ledigt sted over histogrammet, hvilket indikerer et næsten fuldstændigt fravær af redundans en sådan fil. Derfor kan vi konkludere, at arkiveringsalgoritmen på en eller anden speciel måde "blander" filens bytes for at opnå deres maksimale ensartede fordeling.
Således er entropi inden for datalogi, som i fysik, et mål for forstyrrelsen i systemet, i dette tilfælde forstyrrelsen i fordelingen af bytes i filen. Entropy giver dig mulighed for at bedømme graden af komprimering af filen og - indirekte - om dens type.
