Материал: 6593

47

ступают посылки (1) и паузы (0). Априорные вероятности р(0)=р(1)=1/2. Из-за помех посылка, появившаяся на входе приемника, регистрируется в решающем устройстве правильно (как

посылка) с вероятностью α = 0,8 , ошибочно (как пауза) – с ве-

роятностью 1−α. При поступлении паузы на вход приемника она принимается правильно (как пауза) с вероятностью β = 0,6

и ошибочно (как посылка) – с вероятностью 1− β . Определить

среднюю информацию о входном сигнале, содержащуюся в наблюдаемом сигнале на выходе приемника.

Решение. Обозначим X – ансамбль сигналов на входе, Y – ансамбль сигналов на выходе. Ищем среднюю взаимную информацию по формуле (2.3.8)

I(X ;Y ) = H (Y ) − H (Y / X ),

2

где H (Y ) = −∑p(yk )log p(yk ) – энтропия на выходе,

H (Y / X ) = −∑∑p(xj ) p(yk / xj )log p(yk / xj ) – средняя

j=1 k =1

условная энтропия шума в канале, определяемая условными вероятностями искажений p(yk / xj ) . По условию задачи они

имеют следующие значения

ходе p(Y=1) и p(Y=0) воспользуемся формулой полной вероятности

p(y =1) = p(x =1) p(y =1x =1) + p(x = 0) p(y =1x = 0) = 0,5 0,8 +0,5 0,4 = 0,6.

p(y = 0) = p(x = 0) p(y = 0 x = 0) + p(x =1) p(y = 0 x =1) = 0,5 0,6 +0,5 0,2 = 0,4.

48

Тогда средняя взаимная информация

I(X ;Y ) = H (Y ) − H (Y / X ) =

− p(y = 0) log p(y = 0) − p(y =1) log p(y =1) +

p(x = 0)[ p(y = 0 x = 0)log p(y = 0 x = 0) + p(y =1x = 0)log p(y =1x = 0)]+

p(x =1)[ p(y = 0 x =1)log p(y = 0 x =1) + p(y =1x =1)log p(y =1x =1)] =

−[0, 4 log2 0, 4 +0,6log2 0,6]+ {0,5[0,6 log2 0,6 +0, 4 log2 0, 4]+

0,5[0, 2 log2 0, 2 +0,8 log2 0,8]}= 0,1245 áèò.

Пример 2.3.3. Эргодический источник имеет алфавит, состоящий из 8 букв. Средние частоты повторения букв одинаковы. При передаче по каналу с шумом в среднем половина всех букв принимается правильно, в другой половине случаев имеют место ошибки, при этом любая буква переходит в любую другую с одинаковой вероятностью. Какова средняя информация в принятой букве относительно переданной?

Решение. Обозначим

ансамбль принятых букв.

Так как для эргодической последовательности средние по времени частоты повторения букв совпадают с вероятностями, то по условию задачи вероятности появления букв на входе

канала p(xj ) =1n =18.

49

Ищем условные вероятности p(yk / xj ) . Поскольку половина всех букв принимается правильно, то p(yk / xj ) =1/ 2

при k = j.

Другая половина случаев есть ошибочный прием, причем по условию задачи все возможные ошибки равновероятны. Число возможных переходов (ошибок) равно 7. Тогда вер о-

Этот же результат следует непосредственно из того факта, что рассматриваемый канал – симметричный (набор вероятностей ошибок одинаков для любого Х), тогда при равномерном распределении на входе распределение на выходе также равномерно.

Среднюю взаимную информацию находим по формуле

(2.3.3)

ЗАДАЧИ

50

2.3.1. В эргодической последовательности, составленной из. букв алфавита А, В, С, Д, средние частоты повторения всех букв одинаковы, а связи между ними отсутствуют. Пусть пол о- вина всех букв принимается неверно, причем в результате ошибок поровну возникают все остальные буквы. Какова средняя информация в принятой букве относительно переданной буквы?

2.3.2. Алфавит состоит из 8 согласных и 8 гласных букв. Все буквы алфавита равновероятны и взаимные связи отсутствуют. Согласные принимаются правильно всегда, гласные – в половине случаев, в другой половине случаев имеют место ошибки, в результате которых гласные заменяются другими гласными, при этом в случае ошибки каждая гласная переходит в любую другую гласную с одинаковой вероятностью. Какова в среднем информация в принятой букве относительно переданной?

2.3.3. Источник создает последовательность из алфавита в 16 равновероятных и статистически независимых букв. При передаче по каналу с шумом буквы искажаются так, что четверть всех букв принимается неправильно, причем все ошибки одинаково вероятны. Определить среднюю информацию в принятой букве относительно переданной.

2.3.4. Сообщения источника x1 и х2 для передачи по каналу связи кодируются 0 и 1 соответственно. Кодовые символы равновероятны, р(0) =р(1). Шумы в канале вызывают: ошибки так, что в с реднем 1 символ из 100 принимается неверно, причем ошибкам одинаково подвержены как нули, так и единицы. Найти информацию, содержащуюся в среднем в одном символе на входе приемника.

2.3.5.Вычислить среднюю взаимную информацию для ка-

нала:

а) заданного в задаче 2.1.12; б) заданного в задаче 2.1.13.

2.3.6.Для передачи по дискретному каналу показания телеизмерительного прибора кодируются 0 и 1. Вследствие дей-

ствия помех на выходе канала появляются символы 0, -1,1. Вероятности совместного появления символов на входе xj и выходе канала ук приведены в табл. 2.3.1.

Таблица 2.3.1

ук