Главная Обратная связь

Дисциплины:






Условные энтропии, частная и полная. Свойства условных энтропий, основные неравенства для условных энтропий (теорема о средней условной энтропии).



Если системы Х и Y зависимы, то p(xi yj)=p(xi) p(y­j|xi)

p(y­j|xi)>0

Введем частную условную энтропию H(Y|xi)

; для независимых: p(y­j|xi)=p(yj), H(Y|xi)=H(Y)

теперь усредним частную условную энтропию по всем состояниям системы Х

средняя (полная) условная энтропия.

Теорема об условной энтропии

Для средней условной энтропии системы Y при условии известной системы Х, справедливо неравенство H(Y|X) ≤ H(Y)

H(X;Y) = H(X) + H(Y|X) ≤ H(X) + H(Y) энтропия сложной системы достигает своего максимального значения тогда, когда ее подсистемы стат. Независимы

Док-во.

Рассмотрим

получили H(Y|X) – H(Y) ≤ 0

0 ≤ H(Y|X) ≤ H(Y) ч.т.д.

 

Энтропия системы, состоящей из нескольких зависимых подсистем. Ее связь с условными и безусловными энтропиями, максимальное значение энтропии сложной системы.

Средняя условная энтропия для произвольного числа подсистем

H(X1,X2,…,Xn) = H(X1) +H(X2|X1) + H(X3|X1,X2) + … + H(Xn|X1,X2,…,Xn-1)

Теорема об условной энтропии для произвольного числа подсистем

… ≤ H(X|Y,Z) ≤ H(X|Y) ≤ H(X)

 


Определение частной информации, доставляемой одним событием о другом, ее свойства. Собственная частная информация события. Среднее собственное количество информации сообщения, его связь с энтропией.

p(xi|yj)=p(xi)* p(yj|xi)/åip(xi)*p(yj|xi) – ф-ла Байеса; Чтобы миним. Вер-ть ошибок, максим. апостер. вер-ти xk=argmax(p(xi|yj)); введем частн информ доставл символом |yj о симв xi как I(xi;yj) = log(p(xi|yj)/p(xi));

Cв-ва част инф. I(xi;yj)=log(p(xi|yj)/p(xi))=log(p(yj|xi)/p(yj)); I(xi;yj)=I(yj|xi); I(xi,yj) – част взаим инф-я 2х случ событий – характеризует меру стат свзяи м/у ними. Если сис незав, p(xi,yj)=p(xi)p(yj)=>p(xi|yj)=p(xi); то I(xi,yj)=log(p(xi|yj)/p(xi))=log(p(xi)/p(xi))=0; част взаим инф-я достиг своего макс знач-я при р(xi|yj)=1; I(xi,yj)=log(1/p(xi))=-log(p(xi))=I(xi)-част собст инф-я. Част собств инф-я показывает какое кол-во инф-ии мы имеем пронаблюдав конкр состояние сис X. I(xi)³0; рав-во нулю, когда сис незав.

I(xi)=-log(p(xi))-час.собс.инф-я; I(X)=åip(xi)I(xi)=-åip(xi)logp(xi)=H(X); Однозначно опред сост сис X. Haps=0, I(X)=H(X). Полное кол-во инф, получ набл послед n симв = nH(X); I(x1, x2.. xn)=nI(X)=nH(X);

 

7. Количество информации, как мера снятой неопределенности.Среднее количество информации, содержащееся в принятом сообщении Y о переданном сообщении X, основные свойства, связь с энтропией. “Потерянная “ и “шумовая” информация.

Ср-ее кол-во инф. I(X;Y)=åiåjp(xi,yj)I(xi,yj)=ååp(xi,yj)log(p(xi|yj)/p(xi))=ååp(xi,yj)log(p(xi,yj)/p(xi)p(yj))=I(Y;X)



I(X;Y)=-ååp(xi,yj)log(p(xi))+ååp(xi,yj)log(p(xi|yj))=H(X)-H(X|Y); Cв-ва: 0£H(X|Y)£H(X)=>0£I(X;Y)£H(X); I(X;Y)=0 если сис статнезавис; max I(X;Y)=H(X) (H(X|Y)=0) т.е. пронаблюдав Y мы однозначно можем определить X. H(X;Y)=H(Y)+H(X|Y)=H(X)+H(Y|X); I(X;Y)=H(Y)-H(Y|X); I(X;Y)=H(X)+H(Y)-H(X,Y);

H(Y|X)-шумовая инф-я;H(X|Y)-потерянная из-за помех инф-я.

 





sdamzavas.net - 2017 год. Все права принадлежат их авторам! В случае нарушение авторского права, обращайтесь по форме обратной связи...