Материал: 6593

26

x46 .

По условию задачи n =100 квадратов, a m =1. Тогда

p(x46 ) = 0,01 и I(x46 ) = −log 0,01 = log2 100 = 6,6439 бит.

б) Вероятность события y5 – объект находится в 5-й горизонтальной строке экрана – по аналогии с рассмотренным случаем а) определится p(y5 ) = mn =10100 = 0,1 и собственная

информация

I(y5 ) = −log2 0,1 = log2 10 = 3,3219 áèò.

в) Вероятность события z6,3 – объект находится в 6-м вер-

тикальном столбце и 3-й горизонтальной строке – равна p(z6,3 ) = mn = 0,01, следовательно,

I(z6,3 ) = −log2 0,01 = 6,6439 áèò.

Пример 2.1.3. Рассматривается ансамбль сообщений, приведенный втабл. 2.1.1.

Таблица 2.1.1

ную информацию об этом сообщении, доставляемую каждым последующим символом на выходе кодера.

Решение. На вход кодера поступает одно из сообщений x0 ,..., x6 , а кодер порождает соответствующие таблице двоич-

ные символы. Так, сообщению x4 соответствует на выходе ко-

довое слово 101. Символы на выходе кодера появляются последовательно, т.е. первый символ 1, второй 0 и третий 1. Первый символ кодового слова содержит некоторую информацию относительно того, какое сообщение поступает на вход кодера. Так, первый символ 1 показывает, что на входе могли быть сообще-

ния x2 , x4 , x5 или x6 . Второй символ 0 сужает выбор – теперь

27

на входе возможно одно из двух сообщений: x2 или x4 . И,

наконец, последний, третий символ 1 однозначно определяет переданное сообщение.

По формуле (2.1.3) взаимная информация, содержащаяся в первом кодовом символе 1 относительно сообщения x4 , равна

т.е. условная вероятность p(1/ xj ) = 0 для гипотез, при которых первый кодовый символ есть 0, и p(1/ xj ) =1 для гипотез, при

которых первый кодовый символ 1. В знаменателе формулы Байеса таким образом учитываются те гипотезы, при которых возможно появление 1 на первом месте.

Итак,

а взаимная информация, содержащаяся в первом кодовом сим-

Информация, содержащаяся во втором кодовом символе 0 при условии, что первый кодовый символ был 1, есть

Информация, содержащаяся в третьем кодовом символе 1 при условии, что ему предшествовали 10, есть

ны, то

I(x4 ) = I(x4 ;1) + I(x4 ;0 /1) + I (x4 ;1/10) .

Действительно, I(x4 ) = −log2 p(x4 ) = log2 32 = 5 бит, и

это совпадает с приведенной суммой.

Пример 2.1.4. По дискретному каналу передаются сообщения x1 или x2 . Вследствие действия шумов на выходе появляет-

ся один из сигналов y1, y2 , y3 . Вероятности совместного появ-

p(y3 )

29

p(x1) = p(x1, y1) + p(x1, y2 ) + p(x1, y3 ) = 14 +161 + 81 = 167 ; p(x2 ) = 18 +163 + 14 = 169 ; p(y1) = 14 + 18 = 83 ;

p(y2 ) = 161 +163 = 14 ; p(y3 ) = 18 + 14 = 83 .

Используя формулы (1.4), найдем условные вероятности:

Тогда количество взаимной информации по формуле (2.1.3)

Мы получили I(x1; y3 ) < 0 , так как p(x1 / y3 ) < p(x1) . ЗАДАЧИ

2.1.1.На шахматной доске произвольным образом расставлены фигуры. Априори все положения фигур на доске одинаково вероятны. Определить собственную информацию, получаемую от сообщения, что конкретная фигура находится в одной из угловых клеток доски.

2.1.2.Сколько информации содержится в сообщении о том, что сумма очков на двух подброшенных игральных костях есть четное число?

2.1.3.Сколько информации содержится в сообщении том,

что сумма очков на двух подброшенных игральных костях равна

7?

2.1.4. Брошены одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что произведение чисел выпавших очков четно.

30

2.1.5.В цехе работают 7 мужчин и 3 женщины. По табельным номерам наудачу отобраны 3 человека. Найти количество информации, содержащееся в сообщении «все отобранные люди

–мужчины».

2.1.6.Из шести букв разрезной азбуки составлено слово

«машина». Ребенок, не умеющий читать, рассыпал эти буквы и затем собрал в произвольном порядке. Какое количество информации будет содержаться в утверждении, что у него снова получилось слово «машина»?

2.1.7.Два стрелка, для которых вероятности попадания в мишень равны соответственно 0,6 и 0,7, производят по одному выстрелу. В результате оказалось, что мишень поражена. Какое количество информации содержится в этом сообщении?

2.1.8.Урна содержит 6 черных и 10 белых шаров. Случайно, без возвращения, из урны вынимают 3 шара, и результат опыта передается по системе связи. Пусть шары выбраны в следующей последовательности: черный, черный, белый.

а) Какое количество информации надо передать, если интересоваться только количеством шаров того и другого цвета?

б) Какое количество информации надо передать, если представляет интерес также и порядок, в котором выбраны шары?

2.1.9. В некотором городке четверть женщин — блондинки, половина — брюнетки и четверть — шатенки. Блондинки всегда приходят на свидание вовремя, брюнетки – подбрасывают монету и в зависимости от результата приходят вовремя или опаздывают, а шатенки всегда опаздывают.

1. Определить взаимную информацию между высказыванием «женщина пришла на свидание вовремя» относительно каждого из следующих предположений:

а) она блондинка; б) брюнетка; в) шатенка.

2. Сколько информации содержится в высказывании «женщина пришла вовремя на 3 свидания подряд» относительно предположения, что она брюнетка?

2.1.10. При фототелеграфной передаче изображения кадр состоит из 2,5∙106 элементов. Для хорошего воспроизведения