Ақпараттар және кодтау теориясы

жүктеу 1,27 Mb.

бет	5/28
Дата	04.03.2023
өлшемі	1,27 Mb.
	#41586

1 2 3 4 5 6 7 8 9 ... 28

А параттар ж не кодтау теориясы

Біріктіру энтропиясы

Анықтама. хабар қабылдағыштың арна матрицасы (12) матрица деп аталады, оның i-ші жолының және j-бағанының элементтері қабылдағыш сигнал алған жағдайда сигнал көзі арқылы жіберу ықтималдығын білдіреді .

Бұл жағдайдағы арна матрица түрі

. (26)

Бұл жағдайда бірлік арна матрицасының бағандарындағы шартты ықтималдықтардың қосындысына тең болуы керек

. (27)

Жеке шартты энтропия

, (28)
жалпы шартты энтропия

. (29)
немесе

. (30)
Егер түрдегі (бұл жағдайда жеке шартты энтропия (22) сәйкес келеді) арна матрицасы және р(x_i)түріндегі шартсыз ықтималдығы берілген болса, онда қабылдағыштың шартсыз ықтималдығы , яғни көздің шартсыз ықтималдығы мен арна матрицасы берілген болса, онда қабылдағыштың энтропиясы есептеуге болады

, (31)

керісінше , егер р(y_j) түріндегі ықтималдығы және хабарлама қабылдағыштың байланыс арнасын сипаттайтын арна матрицасы (жеке шартты энтропия (28) өрнегіне сәйкес келсе) көрсетілсе, онда , хабарлама көзінің энтропиясын анықтауға болады

. (32)

Егер өзара тәуелділік x_i, x_j, x_k 3 элементін байланыстырса, онда шартты энтропия келесі формула бойынша есептеледі

, (33)

эта формула справедлива и для 4, 5, ..., n элементов.

Біріктіру энтропиясы статистикалық тәуелді хабарламалардың бірлескен пайда болу энтропиясын есептеу үшін қолданылады. Н(X,Y) – Y хабарламаларының қабылданғаны, X хабарламалардың жіберілгендігі туралы белгісіздік. Жіберілген хабарламаласы X ансамбльдері үшін және Y қабылданған хабарламалар ансамблдері үшін бірлестіктің энтропиясы:
Біріктіру энтропиясы және шартты энтропия келесі қатынастармен байланысты:
бит/два символа. (34)

Біріктіру энтропиясы және шартты энтропия келесі қатынастармен байланысты:

Н (X, Y) = Н (X) + Н (Y / X) = Н (Y) + Н( X / Y),
Н (Y / X) = Н (X, Y) + Н (X), Н (X / Y) = Н (X, Y) + Н (Y). (35)

Біріктіру энтропиясын келесі түрдегі матрицаның көмегімен есептеуге болады

. (36)

Бұл матрицаның керемет қасиеті бар: , , бұнда . Бұл қасиет, өз кезегінде, байланыс көзі мен қабылдағыштың энтропиясын тікелей арна матрицасы арқылы есептеуге мүмкіндік береді

, (37)

. (38)

Біз i және j бойынша жинақтаймыз (Суммирование производим по i и j,), өйткені шартсыз ықтималдылықты табу үшін оларды бір координат бойынша жинақтау қажет (ықтималдылықтың матрицалық көрінісін ескере отырып), Ал Н табу үшін жинақтау (уммирование) басқа координат бойынша жасалады.

және түрдегі шартты ықтималдығы келесі формулалармен есептеледі

, . (39)

Байланыс арнасы арқылы жіберілген хабарлама символына ақпараттың мөлшері, онда кедергілердің әсері біріктіру энтропиясы арқылы сипатталады, келесідей есептеледі:

I (X, Y) = H (X) + H (Y) – H (Y, X). (40)

жүктеу 1,27 Mb.

Достарыңызбен бөлісу:

1 2 3 4 5 6 7 8 9 ... 28