Главная Обратная связь

Дисциплины:






Вывод формулы Шеннона.



Нам необходимо научиться оценивать степень неопределенности различных ситуаций, опытов. Для самых простых опытов, имеющих k равновероятных исходов, степень неопределенности измеряется с помощью самого числа k: при k = 1 никакой неопределенности нет, т.к. исход предопределен, но не случаен. При росте числа возможных исходов предсказание результата опыта становится все более затруднительным, так что естественно предположить, что мера степени неопределенности является функцией k – f(k), причем f(1)=0, и f(k) монотонно растет с ростом k.

Кроме того, надо научиться оценивать неопределенность нескольких опытов. Рассмотрим два независимых опыта α и β (т.е. такие два опыта, что любые сведения об исходе первого из них никак не меняют вероятностей исходов второго). Если опыт α имеет p равновероятных исходов, а опыт β – q равновероятных исходов, то сложный опыт αβ, состоящий в одновременном выполнении опытов α и β, очевидно обладает неопределенностью большей, чем каждый опыт α или β в отдельности.

Пример сложного опыта

Пусть в одной урне находятся таблички с буквами русского алфавита в количестве 32 штук (е и ё будем считать неразличимыми), а в другой – таблички с арабскими цифрами 0, 1, …, 9. Опыт α состоит в извлечении из первой урны одной буквы, а опыт β – в извлечении из второй урны одной цифры. В первом случае у нас – 32 равновероятных исхода, а во втором – 10. При этом извлечение какой бы то ни было буквы из первой урны никак не влияет на то, какая будет извлечена цифра. В сложном опыте αβ – 320 исходов и степень неопределенности этого опыта больше, чем исходных двух.

Очевидно, что в сложном опыте степень неопределенности опыта α дополняется степенью неопределенности β. Можно считать, что степень неопределенности опыта αβ равна сумме неопределенностей опытов α и β. Так как опыт αβ имеет pq равновероятных исходов, то мы можем формировать условие, которому должна удовлетворять функция f(k): f(pq)= f(p)+ f(q).

Последнее условие вместе с требованием f(1)=0 и условием монотонного роста наталкивает на мысль, что в качестве меры неопределенности опыта, имеющего k равновероятных исходов, можно взять число log k. Формально доказывается, что логарифмическая функция является единственной функцией аргумента k, удовлетворяющей условиям f(pq)= f(p)+f(q), f(1)=0 и f(p)>f(q) при p>q.

При определении конкретной оценки меры неопределенности обычно используют логарифм по основанию два, т.е. f(k)=log2k. Это означает, что за единицу измерения степени неопределенности здесь принимается неопределенность, содержащаяся в опыте, имеющем два равновероятных исхода (как в опыте подбрасывания монеты). Такая единица измерения неопределенности называется БИТ (bit – binary digit – двоичный разряд). В немецкой литературе ее название очень выразительно: Ja-Nein Einheit (единица «Да-Нет») . В случае использования десятичных логарифмов в качестве единицы степени неопределенности принималась бы неопределенность опыта в десятью равновероятными исходами – ДИТ. Чаще всего именно бит принимается в качестве единицы измерения: - мы соглашаемся оценивать неопределенность системы в самых мелких возможных единицах. Неопределенность десятичного набора – гораздо крупнее - дит почти в 3, 3 раза больше бита (т.к. log210 ≈ 3,32).





sdamzavas.net - 2019 год. Все права принадлежат их авторам! В случае нарушение авторского права, обращайтесь по форме обратной связи...