H(X) [entropia de Shannon] pode ser vista como uma medida da quantidade média de informação contida em X ou, de forma equivalente, a quantidade de incerteza que existe até o valor de X ser revelado.