Главная Обратная связь

Дисциплины:






Обобщение основной теоремы Шеннона о кодировании в отсутствии помех на стационарные случайные последовательности, состоящие из зависимых сообщений



Применим n–блочное кодирование. Энтропия блока: . По Шенону:

 


26. Экстремальные распределения непрерывных случайных величин.

Пусть задана фиксированная мощность и она равна среднекв. разбросу – дисперсии: . Распределение при этом будет обладать максимальной энтропией: H(X)=max, при условиях: и . Для отыскания W(x) необходимо максимизировать: при условиях . Составляем: , условие экстремума подставляем в условия ограничения, заменяем log на ln : .

 

27.Обощение понятия количества взаимной информации на непрерывные системы. Свойства и связь количества взаимной информации с дифференциальными энтропиями.

Для непрер. случайных величин среднее полное количество взаимной инф-ции вводится аналогично дискретным и также явл. мерой снятой неопределённости случайной величины Х при наблюдаемой случайно величине Y:

. Полная взаимная информация является симметричной функцией и может быть найдена по формулам: I(X;Y) = I(Y;X) = H(X) – H(X|Y) = H(Y) – H(Y|X) = H(X;Y) – H(X) – H(Y). Свойства???

 

28. Непрерывный канал связи с дискретным временем и аддитивным шумом. Количество информации, передаваемое по такому каналу.

- количество информации, в канале связи с аддитивным гауссовским шумом.

Максимальное количество информации, которое можно передать по такому каналу:

C = max{I(x:y)}. Два ограничения: 1) полоса частот: F0 – фиксированная, 2) - фикс. мощность. Z – аддитивный шум в канале связи. Передаваемый сигнал: 1) дискретизируем по теореме Котельникова , 2) x берём гауссовский, чтобы был максимум передачи информации. 3) Z – тоже гаусс.

Для N отсчётов: . Скорость передачи информации R= C/T =





sdamzavas.net - 2019 год. Все права принадлежат их авторам! В случае нарушение авторского права, обращайтесь по форме обратной связи...