Главная Обратная связь

Дисциплины:






Двоичный симметричный канал связи. Зависимость количества информации передаваемого по этому каналу связи от вероятности ошибок



pe=p(y2|x1)=p(y1|x2); I(x;y)=1+(1-pe)log(1-pe)+pelog(pe);

 

Кодирование дискретных сообщений в отсутствии помех. Постановка задачи кодирования, обратимость и экономность кода. Средняя длина кодового слова. Определение нижней границы для средней длины кодового слова на основе понятий количества информации, необходимого для однозначного определения переданного символа.

Использ-ся алфав xiÎMx – алфавит, здесь xi-буква ист. p(xi)-заданы. Источник без памяти. Треб-ся преобразовать сообщение в послед-ть символов нового алфавита. vjÎm – алф кодера. m<Mx; l(xi)=li-длинга кодового слова. Правило, сопоставляющее каждый элем символ ист сообщ-е с код словом наз-ся код. В завис от числ букв в код алф, наз-ся двоич или троич. 1)Обратимость Чтобы при кодир сохранялась вся инфа (кажд код слово во взаимноодн соотв с буквами исх алф) 2)ЭкономностьЧтобы закодир сообще было как можно короче. Т.е. должно быть истрачено минимальное в среднем число букв алф кода. ((lcp-lopt)/lopt). Простая идея постр оптим кода – для частых букв короткие код слова, для редких – более динные. Усл-е обратим: никакое код слово не должно совпадать с префиксом более длинного код слова. Средняя длина код сл- средн число букв алф код на букву исх алф, lcp=åp(xi)li. Понятие кол-ва инф-ии позвол определ минми границу длины код слова. Какое макс к-во инфы мы получим набл-я код слово? Оно не м.б. меньше необходимого для одноз опр-я сост сис X. 1)макс кол-во инфы от одно буквы алф Hмах=logm 2)Какое макс кол-во инфы может принести код слово длиной в li симв? lilogm когда сист незав.; макс в средн кол-во инф-ии в код слове. Imax =åp(xi)lilogm=lcplogm; Для однозначн опред сост сист X мы должны иметь инф-ии не меньше чем энтропия этой сис. Imax ³ I(X) = H(X) => lcplogm³H(X)=>lcp³H(x)/logm; макс возм энтр код алф – емк кодов алф.; код для к-рого сред число симв в код слове равно H(X)/logm будем называть оптим кодом.

 

Выбор длины кодовых слов на основе понятия частной информации переданного символа. Неравенства для средней длины кодового слова. Условия оптимальности кода при побуквенном кодировании.

Покажем, что знак рав-ва в ф-ле lcp³H(x)/logm имеет место только когда I(xi)/logmÎZ; Итак,p(xi)=m-k_{i} I(xi)=-logp(xi). Будем выбирать длину код слова так: [xi®li=I(xi)/logm = -log(p(xi))/logm и это >0 и ÎZ;](*)

Lcp=åp(xi)I(xi)/logm = H(X)/logm; вообще гря усл (*) не всегда вып-ся. В общем случае выберем длины кодовых слов соотв xi равными ближ целым li = -log(p(xi))/logm = -log(m-k_{i})/logm = ki>0; I(xi)/logm£li£I(xi)/logm+1 => [*p(xi) и просумм по i] => H(X)/logm£lcp£H(x)/logm + 1 (**); при любых априор вер-х p(xi) если выбирать li по (*) мы получим сред длину код слова удовл-юю нер-ву (**).



lopt=H(X)/logm;

 





sdamzavas.net - 2019 год. Все права принадлежат их авторам! В случае нарушение авторского права, обращайтесь по форме обратной связи...