Главная Обратная связь

Дисциплины:






Щільність ентропії стаціонарного ДДП



Нехай розглядається стаціонарний ДДП з деяким алфавітом , що породжує (генерує) -символьні випадкові повідомлення . Дослідимо асимптотичну поведінку ентропії при .

Оскільки ДДП є стаціонарним, то -вимірний дискретний розподіл ймовірностей

, .

не змінюється при зсуві початку відліку часу:

.

В силу цього ентропія -символьного "зсунутого" повідомлення не залежить від :

.

Тому надалі можна не розрізняти випадкові повідомлення і .

Означення. Щільністю ентропії стаціонарного ДДП називається границя

. (5)

якщо вона існує.

За означенням є ентропією, що доводиться на один символ і обчислену за нескінченно довгим випадковим повідомленням. Якщо , то із збільшенням довжини повідомлення ентропія зростає лінійно:

.

З'ясуємо умови існування границі в (5), тобто асимптотичної поведінки ентропії.

Нехай і – випадкові повідомлення довжини і відповідно, – символ конкатенації. Позначимо через умовну ентропію символу відносно випадкового повідомлення , яке складається з попередніх символів, :

.

У випадку покладають .

Теорема 1. Для довільного стаціонарного ДДП числова послідовність умовних ентропій , , має скінченну границю:

.

Теорема 2. Для довільного стаціонарного ДДП щільність ентропії існує і збігається з граничним значенням (5):

.

Теорема 3. Для ентропії довільної дискретної стаціонарної послідовності при збільшенні числа символів справедлива асимптотична рівність

, (6)

де

.

В асимптотичній формулі (6) – це -кратна щільність ентропії, – це ентропія, обумовлена граничними ефектами.

Наслідок. Для довільного стаціонарного ДДП без пам’яті асимптотична рівність (6) перетворюється на точну рівність

,

де

ентропія одиничного випадкового символу.

 





sdamzavas.net - 2017 год. Все права принадлежат их авторам! В случае нарушение авторского права, обращайтесь по форме обратной связи...