Материал: 6593

41

2.2.11. Измеряемое напряжение лежит в пределах 0 ÷6 В. Телеметрический датчик регистрирует приращение напряжения ∆u = 0,01 В. Найти наибольшее среднее количество информа-

ции, получаемое за 10 независимых отсчетов.

2.2.12*. В двоичной системе связи для передачи символов 0 и 1 используются импульсы длительности 2 и 4 мкс соответственно. Определить наибольшее среднее количество информации, которое можно передать в такой системе в 1 с.

2.2.13. На радиорелейной линии для передачи символов 0 и 1 используются радиоимпульсы мощностью 1 и 10 Вт соответственно. Для нормальной работы передатчика необходимо, чтобы отдаваемая им средняя мощность не превышала 3,4 Вт. Найти наибольшее количество информации, которое в среднем может переносить один импульс.

2.2.14. Показать, что энтропия Н(Х) ансамбля X с конечным множеством символов хi, i =1, m достигает максимума, когда

все символы равновероятны, и это максимальное значение равно

Hmax (X ) = log m.

2.2.15. Узлу связи А было передано 3 радиограммы, у з- лу связи В — 4 радиограммы. Вероятности неискаженного приема одной радиограммы на узлах соответственно равны 2/3 и ѕ. Считая, что качество связи характеризуется числом m правильно принятых радиограмм, подчиняющимся биномиальному закону распределения, оценить степень неопределенности качества связи для каждого из узлов.

2.2.16. Вероятность того, что проводная линия выдержит испытание, уменьшается с увеличением ее длины L по экспоненциальному закону

p = exp(−L / L0 ) , где L0 = 200 км.

При какой длине линии исход испытания обладает наибольшей неопределенностью?

2.2.17. Передатчик, описанный в задаче 2.2.13, передает символы 1 и 0 с вероятностями 0,1 и 0,9 соответственно. Найти избыточность при ограничении на среднюю мощность передат-

42

чика.

2.2.18.Доказать, что любое преобразование вероятностей двух элементов ансамбля, которое делает эти вероятности более близкими друг к другу, увеличивает энтропию ансамбля.

2.2.19.Из многолетних наблюдений за погодой известно,

что в некотором пункте А вероятность того, что 15 июня будет дождь, равна 0,4, а вероятность того, что осадков не выпадет, равна 0,6. Вероятность того, что будет дождь 15 ноября, равна 0,2, а вероятность того, что выпадет снег, равна 0,45. В какой из названных дней погоду в п. А следует считать более неопределенной, если:

а) интересоваться вопросом о наличии и характере осадков, б) интересоваться вопросом только о наличии осадков.

2.3 Средняя взаимная информация

Определения. В изучении проблем связи, кроме рассмотренных выше величин, важную роль играет среднее значение взаимной информации между элементами различных ансамблей.

Рассмотрим условное среднее значение взаимной информации для объединенного ансамбля XY. Пусть сигнал принял значение уk. Тогда информация, содержащаяся в реализации уk принятого сигнала относительно ансамбля передаваемых сообщений X,

есть средняя взаимная информация между ансамблем X и реализацией yk.

Аналогично информация, содержащаяся в ансамбле принятых сигналов Y относительно реализации переданного сообщения xj, определяется как

44

ния X после приема сигнала Y. Тогда энтропию Н(Х) мы понимаем как среднее количество переданной информации, а условную энтропию H(X/Y) – как среднее количество информации, потерянное вследствие влияния шума («ненадежность»).

В другом варианте

среднее количество информации есть разность между средним количеством информации, необходимым для определения принятого сигнала, и средним количеством информации, необходимым для определения того же сигнала, когда известно переданное сообщение. Тогда H(Y/X) можно трактовать как среднее количество информации, необходимое для определения помехи в канале, т. е. это есть энтропия шума в канале.

При отсутствии в канале помех

т.е. принимаемый сигнал Y доставляет получателю всю информацию, содержащуюся в переданном сигнале.

В этом случае уk и xj связаны однозначно

и условная энтропия H(X/Y)=0.

При значительном уровне помех прием уk не дает ответа относительно переданного xj, следовательно, X и Y можно приближенно считать статистически независимыми, тогда

p(xj / yk ) = p(xj ) – прием символа уk никак не определяет пе-

реданного символа xj – и среднее количество информации

I(X ;Y ) = H (X ) − H (X /Y ) = 0 .

Очевидно, формулы (2.3.3), (2.3.7) и (2.3.8) дают тождественные результаты, и выбор той или иной формулы при решении конкретной задачи производится из соображений удобства математических выкладок.

РЕШЕНИЕ ТИПОВЫХ ПРИМЕРОВ Пример 2.3.1. Вычислить для конкретного канала, заданно-

го в примере 2.1.4, средние количества информации.