Главная Обратная связь

Дисциплины:






Количественные информационные оценки для дискретных источников с памятью. Понятие совместной энтропии, условной энтропии и средней взаимной информации ансамбля XY



Пусть {XY, p(xi,yj)} – два совместно заданных ансамбля {X, p(xi)} и {Y, p(yj)}.Апостериорная вероятность p(xi|yj) - неопределенность, остающаяся о сообщении xi после того, как было принято сообщение yj.

Условная собственная информация:

Взаимная информация пары событий:

Совместная информация пары событий:

Условная энтропия источника X относительно источника Y:

Энтропия (совместная энтропия) ансамбля XY:

Математическое ожидание случайной величины i(xi;yj) - средняя взаимная информация между источниками X и Y:

Постановка задачи кодирования источника. Типы кодирования (понятие кодов фиксированной и переменной длины). Цель эффективного кодирования.

При кодировании, в соответствии с определенным правилом (кодом) f последовательность ui преобразуется в конечную последовательность (кодовое слово) xi = (x1, x2, ..., xk), формируемую из букв алфавита D=(d1, ..., dm) кодового словаря X. Если множество конечных последовательностей источника обозначить как U*, а множество конечных кодовых слов – как X*, то кодирование – это отображение

f :U* ®X*,а код последовательности ui или кодовое слово xi – как xi = f(ui).

Коды фиксированной длины:

- слова источника ui различной длины ni -> кодовые слова xi одинаковой длины ki=k=const;

- слова источника ui одинаковой длины ni=n=const -> кодовые слова xi одинаковой длины ki=k=const;

Коды переменной длины:

- слова источника ui одинаковой длины ni=n=const -> кодовые слова xi различной длины ki;

- слова источника переменной длины ui -> кодовые слова xi переменной длины ki.

Эффективное кодирование обеспечивает увеличение средней информационной нагрузки на кодовое слово (символ кодового словаря).





sdamzavas.net - 2020 год. Все права принадлежат их авторам! В случае нарушение авторского права, обращайтесь по форме обратной связи...