1.Энтропия всегда неотрицательна.
2.Энтропия равна нулю в том крайнем случае, когда вероятность одного из событий равна 1.Это случай, когда о сообщении все известно и результат не приносит никакой информации.
H(p)
1 H0
0 0,5 p
3.Энтропия сообщения максимальна, если события равновероятны.
Т.е., если , то .
Это свойство определяется в падении информации по Шеннону и по Хартли. В случае неравновероятности событий количество информации по Шеннону всегда меньше потенциальной информативной емкости.
Достарыңызбен бөлісу: |