Abeceda

Zdroj je reprezentovaný zdrojovou abecedou S.

kde

;

, sú symboly zdrojovej abecedy. Ďalej existuje kódová abeceda A.

kde

;

, sú symboly kódovej abecedy, teda symboly, ktoré sú výstupom kompresného algoritmu. V najjednoduchšom prípade sú tieto dve abecedy zhodné. Kódovanie je potom vlastne proces priradenia kódového slova zdrojovému symbolu.

Pri vytváraní tabuľky, ktorá určuje toto priradenie, aby bol proces čo najefektívnejší, nám pomáha aspoň približná znalosť frekvenčného výskytu jednotlivých znakov

(distribučná funkcia). Samozrejme musí platiť

. V ďalšom texte budeme

značiť skráteným zápisom

V 19. storočí vznikol asi najznámejší takýto kód. Vytvoril ho F. B. Morse pre telegrafiu priradením kratších kódových reťazcov častejšie sa vyskytujúcim písmenám (znakom) a dlhšie písmenám s menšou pravdepodobnosťou výskytu. Morseova abeceda mapuje 26 znakov anglickej abecedy do štvorprvkovej abecedy (dot, dash, mark, space).