Главная Обратная связь

Дисциплины:






Доказательство основной теоремы Шеннона о кодировании в канале связи с помехами



Источник Н’ср вспомогательный Н’(X) канал С’

сообщений → кодер → источник → (помехи) → H’(Y)

 

H’(X), H’ср, H’(Y), H’(Y/X), H(X/Y) – заданы

T= , n→8, T→8

В силу Е-свойства мы можем разложить последовательности на две группы: высоковероятную и маловероятную; также можно сосчитать количество последовательностей и их вероятность в любой точке канала связи.

1)число возможных последовательностей на входе:

2)на выходе:

3)каждые из входных последовательностей могут создать на выходе следующее количество последовательностей:

4)каждая из выходных последовательностей может произойти из следующих входных последовательностей:

В силу Е-свойства суммарная вероятность других исходов при T→8 стремится к 0→ отбрасываем маловероятную группу

За Т можно сосчитать количество последовательностей (тёмные точки); (светлые точки)

В силу условий теоремы будем считать, что кодирующее устройство и источник согласованы с каналом связи так, что P(x) такая, что С достигает max:

, при T→8 тёмных точек << светлых точек на входе

Правило кодировки заключается в том, чтобы переобозначить тёмные точки в светлые. Причём надо сделать так, чтобы вероятность ошибок стремилась к нулю (нужно равномерно разбросать тёмные среди светлых далеко друг от друга). Нужно доказать, что любой способ размещения правилен.

В силу следствий Е-свойства все рассматриваемые последовательности имеют одинаковые вероятности, поэтому задача подсчёта вероятности сводится к классической схеме теории вероятности:

Док-во: 1)посчитаем вероятность, что выбранная наугад последовательность является разрешённой на передачу (чёрная точка):

2)вероятность того, что точка светлая (вероятность дополнительного события)

3)выходная последовательность могла появиться с равной вероятностью из определённого числа последовательностей:

Вероятность того, что ни одна из отправленных последовательностей (кроме одной) не является тёмной точкой

= - вероятность безошибочной декодировки.

Докажем, что

Второе слагаемое →0 при T→8

Вероятность ошибки в среднем по ансамблю всех кодов →0

Рош=1-Рпр→0

Среди всего множества кодов существует хотя бы один код, у которого Рош→0

Справедлива обратная теорема Шеннона: если не выполняется неравенство H’ср<C’, то не существует кода, обеспечивающего безошибочную декодировку.

 

25. Неопределённость непрерывных систем. Дифференциальная (относительная) энтропия. Энтропийные характеристики системы непрерывных случайных величин.



Мерой неопределённости случайной величины Х, принимающей непрерывный ряд значений и заданной плотностью вероятности W(x), является дифференциальная энтропия H(Х), определяемая формулой:

причём W(x)logW(x)=0 для тех значений x, где W(x)=0. Дифференциальная энтропия показывает, на сколько неопределённость рассматриваемой непрерывной системы больше или меньше энтропии базового непрерывного распределения на отрезке [0;1]. Частная условная энтропия непрерывной случайной величины X при конкретном значении случайной величины Y вводится через условные плотности вероятности: . Полной (средней) условной энтропией H(X|Y) называется математическое ожидание частной условной энтропии:

. Характеристики:

Условие нормировки:

Математическое ожидание: , .

Дисперсия:





sdamzavas.net - 2019 год. Все права принадлежат их авторам! В случае нарушение авторского права, обращайтесь по форме обратной связи...