Лекция №1. Теория информации. Понятие видов информации

Несистематические

Блочное (блоковое) кодирование состоит в том, что каждой букве сообщения или последовательности из k символов, соответствующей этой букве сообщения, ставится в соответствие блок из n символов, причем n > k, а каждый символ блока формируется из k символов исходной последовательности по определенному правилу. На практике блок может достигать от 3 до нескольких сотен единиц.

Непрерывные коды характеризуются тем, что кодирование и декодирование информационной последовательности символов осуществляется без разбиения на блоки. Каждый символ выходной последовательности как результат некоторой операции над символами входной последовательности. В таких кодах результат декодирования предыдущих и последующих символов может влиять на декодирование текущего символа.

Наиболее широкое распространение среди непрерывных кодов получили сверточные коды.

Блочные коды подразделяются на разделимые и неразделимые. К разделимым кодам относятся те, у которых кодовая комбинация состоит из двух частей, а именно информационной и проверочной частей. Обычно проверочные символы получаются посредством некоторых операций над информационными символами. Разделимые коды обозначают (n, k).

К неразделимым относятся коды, у которых кодовую комбинацию нельзя разделить на эти две части - информационную и проверочную. Например, код с постоянным весом.

Самый большой класс разделимых кодов составляют систематические, у которых значение проверочных символов определяется в результате проведения некоторых операций над информационными символами, поэтому эти коды часто называют линейными.

Последовательность линейных операторов и число проверочных символов определяются тем, сколько ошибок может обнаружить и исправить данный код. Проверочные символы могут располагаться в любом месте кодовой комбинации, чаще их располагают справа, т.е. в младших разрядах.

Пример формирования блокового разделимого системного кода.


1 0 0 1

Исходная комбинация k=4

1 0 0 1

Кодовая последовательность n=5

Код (5,4)

В примере всего один проверочный символ, который формируется путем сложения по модулю 2 всех информационных символов. Такой код называется кодом с проверкой на четность. Причем, если новую так называемую разрешенную кодовую комбинацию систематического кода можно получить линейным преобразованием двух разрешенных комбинаций, то код называется линейным.

К несистематическим кодам относятся те, в которых проверочные символы формируются за счет нелинейных операций над информационными символами (код Бергера).

5.2 Параметры (характеристики) помехоустойчивых кодов и их границы. Корректирующие свойства кодов.
Основными характеристиками помехоустойчивых кодов являются:

1. 
   Длина кода n;
   
2. 
   Основание кода m;
   
3. 
   Общее число кодовых комбинаций N;
   
4. 
   Число разрешенных кодовых комбинаций N_р;
   
5. 
   Избыточность кода  ;
   
6. 
   Кодовое расстояние d.
   

Число разрешенных кодовых комбинаций N_р для разделимых определяется из общего числа выходных последовательностей только последовательностями, соответствующими входным.

Главное, что запрещенные кодовые комбинации для передачи информации не используются.

 
Избыточность кода   в общем случае определяется выражением:

Избыточность кода показывает, какая доля кодовых комбинаций не используется для передачи информации, а используется для повышения помехоустойчивости.

Для двоичных кодов   соответственно можно выразить через:
  - относительная скорость кода