Аќпараттыѕ ќолданбалы теориясы

Бұл жағдайда хабарламаны беру нәтижесіндегі, ақпарат саны неғұрлым көп болса соғұрлым анықталмағандық та көп болады.

Ақпаратты алу механизімін қарастырайық:

БЕРГЕНГЕ ДЕЙІНГІ АНЫҚТАЛМАҒАНДЫҚ

БЕРГЕННЕН КЕЙІНГІ АҚПАРАТ

Сонымен, Шеннон бойынша анықталмағандық–ол энтропия. Н міндеті.

Энтропия және ақпарат теңдеуі ұқсайды, бірақ мәні әр-түрлі. Энтропия-априорлық сипаттама (бергенге дейін), ақпарат-апостериорлық сипаттама (бергеннен кейін).

Берілгендерді беруді жоғалтусыз қарастырсақ, онда мынаны аламыз

ЭНТРОПИЯ АҚПАРАТ

БЕРГЕНГЕ ДЕЙІН h(x) 0

БЕРГЕННЕН КЕЙІН 0 I(X)=H(X)

Ақпаратты кодттау сапасы энтропиямен анықталады:

h(x)_max – кодттаудың ең жақсы әдісі;

h(x)_min – кодттаудың ең нашар әдісі.

Ақпарат екі әдәспен кодтталады:

Кодттаудың бірінші әдәсә жақсы.

Оптималды кодттау әр элементтің ұлғаюына бағытталуы тиіс.

Энтропияның негізгі қасиеттері

Қандай жағдайларда энтропия ең үлкен және ең кіші шаманы қабылдайтынын қарасиырайық.

Екілік хабарламаны беру Х пайда болу ықтималдылығы p (x₁) және p (x₂) екі элементтен тұрады делік x₁, x₂.

p (x₁) =1, p (x₂) =0 болған кездегі жағдайды қарастырацһйық.

Мұнда =1/p(x₂) белгіленуі енгізілген, ал анықталмағандық Лапиталия ережесімен ашылды. Энтропия минималды және 0 тең, егер, элементтердің біреуі 1 тең ықтималдылығы пайда болатын болса.

Энтропия максималды және 1 тең.

Екілік символ үшін H_max = 1бит/дв.символ.

p(x₁)= p(x₂)= .... =p(x_n-1)= p(x_n) кезінде.

Ізінше, оптималды кодттау үшін элементтердің пайда болу ықтималдылығын теңестіру қажет.
№6 тақырып