Элементтер арасында статикалық байланыс болған кездегі дискретті хабарлама энтропиясы

Егер x_i элементінің пайда боу ықтималдылығы, алдында болған элементке x_i-1 тәуелді болса элементтер арасында статикалық байланыс орны болады.

Статикалық байланыс қос көрші элементтерді (сонмен қатар бір байланысты Марков) қамтуы мүмкін, көрші элементтер үштігі (Марковтың екі байланысты сымы),..., n+1-көрші элементтерден (n – Марковтың байланысқан сымы, n ).

Барлық нақты хабарлама n- Марковтың байланысқан сымы болып табылады.

Х хабарламасын x₁, x₂, ...., x_n элементтерінен қарастырайық_, , Марковтың бір байланысты сымынан тұратын қос көрші элементтері статикалық байланыста тұр делік.

p(x_i/x_j)- x_i элементінің пайда болу ықтималдылығы деп белгілейік, x_j (j=i-1) алдында болған элемент. x₁ =1 немесе 0, x₂ = 0 немесе 1болсын, онда келесі жағдайлар болуы мүмкін

p(0/0) p(0/1)

p(1/0) p(1/1) .

Рассмотрим выражение (*) өрнегін екі шекті жағдай үшін қарастырамыз.

x_i жәнеи x_j элементтері арасында толық функционалдық тәуелділік бар, яғни p(x_i/x_j) = 0 немесе 1 және онда H^*(X) = 0.

Сол бейнеде 0  H^*(X)  H(X). (**)

Ізінше элементтер арасында статикалық байланыстың болуы хабарлама энтропиясын кемітеді, неғұрлым көп дәрежеде болса соғұрлым көрші элементтер статикалық байланыспен қамтылған.

Орыс тілінде хабарлама беруді мысал ретінде қарастырайық. Егер ё және е , ь және ъ арасындағы айырмашылықты байқамасақ және арасында ашық жер болуы қажет болса 32 символ болу керек. Максималды энтропия қандай? Символдар арасындағы тәуелділікті және тең ықтималдылық шартының энтропиясы орташа

H_max = lb 32 = 5 бит/символ.

Орыс тілінде символдардың пайда болуы тең ықтималды емес. Егер символдар арасындағы айырмашылықты ескерсек, онда

H₁ = 4,39 бит/символ.

Екі символдар арасындағы статикалық байланыс энтропиясының азаятынын ескерсек

H₂ = 3,52 бит/символ (Марковтың бір байланысты сымы),

Үш символдар арасында – шамаға дейін

H₃ = 3,05 бит/символ (Марковтың екі байланысты сымы),

......................

сегіз символдар арасында –шамаға дейін

H₈ = 2 бит/символ (Марковтың жеті байланысты сымы) және ары қарай өзгеріссіз қалады.

Қорытынды:

Хабарламаны тиімді кодттау үшін бір есепке энтропияны өсіру қажет:

Символдардың пайда болу ықтималдылығын теңестіру.

Элементтер арасындағы статикалық байланысты жою.

Артық хабарлама

Егер хабарламада элементтер тең ықтималды және бір-біріне тәуелді болмаса, онда ондай хабарламалар оптималды бейнеде кодтталған. Мұндай хабарламаны беру үшін n_opt элементін беру қажет болады. Егер хабарлама оптималды кодтталған болмаса, онда оны беру үшін nn_opt символы қажет. Мұндай жағдайда артықтық туындайды, сандық сипаттамасы артықтық коэффициенті болып табылады:

k_и = (H_max(X) - H(X))/ H_max(X), мұндағы

H_max(X) – оптималды кодттау кезіндегі энтропия;

H (X) – оптималды емес ккодттау кезіндегі энтропия.

Сондықтан, 0  k_и  1. Орыс тілі үшін k_и = (5 - 2)/5 =0,6.