Дәріс №4 Шартты энтропия және біріктіру энтропиясы
Ақпарат теориясының аксиомалық құрылысында оқиғалар жұбының ақпараты сияқты ұғым қолданылды.
Олардың оқиғаларын оқиғалар жұбына біріктіріңіз (хi, yi). Біз байланысқан көздердің қарапайым моделін аламыз.
Егер екі көз де бір-бірімен байланысты болса, онда бір дереккөздің оқиғасы екіншісінің оқиғасы туралы кейбір болжам жасауға мүмкіндік береді деп күту керек. Ақпарат теориясы тұрғысынан бұл екінші көздің белгісіздігі төмендейді, яғни көздер өзара ақпарат алмасады.
Оқиғалар жұбының ақпараты (xi, yi) белгісіздікті төмендететін кейбір теріс емес шаманы шегере отырып, осы оқиғалардың ақпарат сомасымен анықталады, яғни өзі өз кезегінде ақпарат болып табылады. Сондықтан оны екі оқиғаның өзара ақпараты деп атайық.
Шартты ықтималдылықты енгіземіз р(х/у) - у оқиға болған жағдайда х оқиғасының ықтималдығы. екі xi және yi оқиғаларының априорлық және шартты ықтималдығы арқылы p(xi, yi) бірлескен ықтималдығын білдіреміз
(1)
Логарифмдік функцияны қолдана отырып, біз бірден (xi, yi), (xi) және (уi) оқиғалар туралы ақпарат аламыз
, (2)
бит. (3)
(3) Бірінші бөлікгінде I (xi) және сәйкесінше екінші бөлікте I(yi) қосу және бір уақытта азайту арқылы біз аламыз
бит (4)
Осылайша, оқиғалар жұбының (xi, yi) ақпараты белгісіздікті төмендететін кейбір теріс емес шаманы алып тастай отырып, осы оқиғалар туралы ақпараттың қосындысымен анықталады, яғни.өз кезегінде ақпарат болып табылады. Сондықтан оны оқиғалар жұбының өзара ақпараты деп атайық.
Оқиғалар жұбының өзара ақпараты
(5)
I(xi, yi) өзара ақпарат әрқашан оң екеніне назар аударайық. Маңызды қасиет сонымен қатар дереккөздерге қатысты өзара ақпараттың симметриясы болып табылады, өйткені.
(6)
(5) көздеріне қатысты Симметрия көздер арасындағы ақпарат алмасу бір жақты емес, өзара болады деп қорытынды жасауға мүмкіндік береді.
Өзара ақпараттың мағынасын жақсы түсіну үшін екі шекаралық жағдайды қарастырған жөн:
1. Көздер тәуелсіз. Содан кейін бізде тәуелсіз оқиғалар жұбы бар
p(xi, yi) = p(xi)p(yi) (7)
яғни, ақпарат көздері ақпарат алмаспайды
I(xi, yi) = 0 (8)
2. Көздер бір-бірімен тығыз байланысты, яғни бір көздің оқиғасы екіншісінің оқиғасын нақты анықтайды
(9)
Бұл жағдайда толық ақпарат алмасу жүреді
I(xi, yi) = I(xi) = I(yi) (10)
(4) оқиға жұбының (xi, yi) ақпаратын I(xi) + i(yi) тәуелсіз оқиғалар жұбының ақпараты мен X және Y көздерінің байланысты болуына байланысты алдын ала болжанған I(xi, yi) өзара ақпарат арасындағы айырмашылық ретінде түсіндіруге болады
I(xi, yi) = I(xi) + I(yi) - I(xi, yi) (11)
Шартты ақпарат (апостериорлық белгісіздік)
бит. (12)
(13)
яғни, оқиғалар туралы ақпаратты егер yi оқиғасы бұрыннан белгілі болса, yi оқиғасының ақпаратының және xi оқиғасының ақпаратының сомасы ретінде, немесе, керісінше, егер xi оқиға белгілі болғанда, xi оқиғасының ақпаратының және yi оқиғасының ақпаратының сомасы ретінде анықтауға болады.
Ақпарат теориясындағы шартты энтропия ұғымы кодталған алфавиттің символдары арасындағы өзара тәуелділікті анықтауда, байланыс арналары арқылы ақпаратты беру кезіндегі шығындарды анықтауда, бірлестіктің энтропиясын есептеу кезінде қолданылады. Барлық жағдайларда шартты энтропияны белгілі бір шартты ықтималдықтар қолданылады.
Егер n хабарламасын жіберген кезде Х таңбасы m рет пайда болса, Y таңбасы l рет пайда болса, ал Х символы Y символымен – k рет бірге пайда болса, онда Х символының пайда болу ықтималдығы , Х символының пайда болу ықтималдығы , Х және Y символының пайда болу ықтималдығы
Y символына қатысты x символының пайда болуының шартты ықтималдығы және X символына қатысты Y символының пайда болуының шартты ықтималдығы келесі формулалар бойынша есептеледі
(14)
Бұл формуладан шығатыны
p (X Y) = p( X) p(Y / X) = p (Y) p (X / Y). (15)
Шартты энтропия формуласы классикалық өрнектен ерекшелегі – ондағы ықтималдықтар шартты:
, (16)
, (17)
Мұндағы i индексі X хабарлама көзінің ерікті күйін сипаттау үшін таңдалған кезде, j индексі Y адресатының ерікті күйін сипаттау үшін таңдалады.
Х хабарламасына қатысты y хабарламасының жалпы шартты энтропиясы алфавиттің кез-келген символындағы ақпарат мөлшерін сипаттайды. Ол барлық символдар бойынша орташаланумен анықталады, яғни әрбір жағдайдың пайда болу ықтималдығын ескере отырып, барлық жағдайлар бойынша бойынша және адресат сигнал қабылдағаннан кейін қалатын белгісіздікке алфавит символдарының пайда болу ықтималдығының қосындысына тең
(18)
Бұл форманы келесідей де көрсетуге болады
(19)
Жалпы және жеке шартты энтропия ұғымы шулы байланыс арналарында ақпараттық шығындарды есептеу кезінде кеңінен қолданылады.
Жалпы жағдайда, егер біз m X сигналдарын жіберіп, m Y сигналдарын аламыз деп күтсек, байланыс арнасындағы кедергілердің әсері арна матрицасымен толық сипатталады (2-сурет).
● x1 ● y1
● x2 ● y2
● xi ● yj
● xm ● ym
Сур. 2 хабар көзі тарапынан байланыс арнасының ықтималдық бойынша сипаттамасы
Анықтама. Хабарлама көзінің арна матрицасы (7) матрица деп аталады, оның i-ші жолының және j-бағанының элементтері сигнал көзі жіберілген жағдайда қабылдағыштың сигнал алу ықтималдығын білдіреді
. (20)
Негізгі диагональ бойынша орналасқан ықтималдықтар ақпараттың дұрыс қабылдануын анықтайды, қалғандары жалған. Матрицалық арналардың бағандарын толтыратын сандардың мәндері, әдетте, негізгі диагональдан алыстаған сайын азаяды және кедергі болмаған кезде, негізгі диагональда орналасқан сандардан басқа барлығы нөлге тең болады.
Егер байланыс арнасын хабарлама көзі жағынан сипаттайтын болсақ, онда осы байланыс арнасындағы сигналдың осы түрінің өтуі p(yj/xi), түрдегі шартты ықтималдықтарын үлестіру арқылы сипатталады, xi сигналы үшін келесі түрде үлестіру арқылы болды:
. (21)
(21) үлестіру ықтималдылықтарының қосындысы әрқашан 1-ге тең болуы керек, яғни . Мысалы, x1 сигналына жататын ақпараттың жоғалуы келесі түрдегі жеке шартты энтропиясының көмегімен сипатталады
. (22)
Жинақтау (суммирование) j бойынша жүргізіледі, өйткені i - ші күй (бұл жағдайда бірінші) тұрақты болып қалады.
Хабар таратқыш тарапынан.
Осы байланыс арнасы бойынша барлық сигналдарды беру кезіндегі шығындарды ескеру үшін барлық жеке шартты энтропияларды қарастыру керек, яғни i және j бойынша қос қосындыны жүргізу керек. Бұл ретте хабарлама көзінің шығуында сигналдардың пайда болу ықтималдығы тең болған жағдайда.
. (23)
(энтропия бір таңбаға белгісіздік болғандықтан, біз m-ге бөлеміз).
Хабарлама көзі символдарының пайда болу ықтималдылықтары әртүрлі болған жағдайда әрбір таңбаның пайда болу ықтималдығын оған тиісті жеке шартты энтропияны, яғни көбейте отырып ескеру қажет. Бұл жағдайда жалпы шартты энтропия келесі формула бойынша есептеледі
. (24)
немесе
. (25)
Хабар қабылдағыш тарапынан. yj сигналын алғаннан кейін x1, x2,.., xi…. xm сигналдарының біреуі жіберілді деп болжаймыз.
● x1 ● y1
● x2 ● y2
● xi ● yj
● xm ● ym
Сур. 3. Хабар қабылдағыштың байланыс арнасының ықтималдық бойынша сипаттамасы
шартты ықтималдық матрицасы хабарлама қабылдағыштың матрицасы деп аталады.
Достарыңызбен бөлісу: |
