Главная Обратная связь

Дисциплины:






Энтропия системы, состоящей из двух статистически независимых подсистем. Свойство аддитивности энтропии для сложной системы, состоящей из нескольких независимых подсистем.



Энтропия как мера неопределенности случайной дискретной системы. Единицы измерения. Основные свойства.

Пусть имеется некоторая случайная система Х. Информацию нам может принести только система заранее не определенная. Необходимо ввести меру неопределенности случайной системы.

Энтропия случайной системы Х называется величина , где х12,…,хn – набор состояний системы Х, а р(х1),р(х2),…,р(хn) – вероятности этих состояний. Если а=2, то единицы измерения энтропии – биты( [H(X)]=бит ), если а=е [H(X)]=нат, если а=10 [H(X)]=дит.

Свойства энтропии.

1. Энтропия не зависит от самих значений случ. величины, а только от их числа и вероятностей.

2. Если состояние системы Х известно заранее, то Н(Х)=0

Теорема о максимальном значении энтропии для системы с двумя состояниями и произвольным числом состояний.

Теорема. Энтропия случайной дискретной системы достигает своего максимума, тогда, когда все состояния системы равновероятны, причем Hmax=log M, где М – число состояний.

Док-во. I способ. Найдем экстремум ф-ции , для 0≤р≤1.

Используя метод Лагранжа, составим функционал

условие экстремума:

, log pi=λ–log e, значит pi=const

pi=1/M – из условия нормировки

 

I I способ. (здесь и далее )

Возьмем такое тождество ln x ≤ x–1.

Рассмотрим выражение H(X) – Hmax= – ∑ p(xi) log p(xi) – log M, умножим на 1=∑p(xi) и посмотрим ограниченность

= – ∑ pi log pi – ∑ pi log M = ∑ pi log 1/(pi M) ≤ log e ∑ pi [1/(pi M) – 1]=log e (∑ (1/M – pi))=0

выражение ограничено сверху 0

1/(pi M)=1 значит H=Hmax при p(xi)=1/M

0 ≤ H(xi) ≤ Hmax ≤ log M

 

Энтропия системы, состоящей из двух статистически независимых подсистем. Свойство аддитивности энтропии для сложной системы, состоящей из нескольких независимых подсистем.

Для описания сложных систем требуется знать p(xi yj).

p(xi yj)>0

– нормировка

;

– энтропия совместных систем

если X и Y независимы, то p(xi yj)=p(xi) p(y­j)

H(X;Y) = H(X) + H(Y) – аддитивность для независимых подсистем

 





sdamzavas.net - 2017 год. Все права принадлежат их авторам! В случае нарушение авторского права, обращайтесь по форме обратной связи...