Материал: 6593
51
j |
|
|
у |
|
|
1 |
2 |
|
3 |
|
/4 |
/16 |
1 |
/8 |
1 |
|
|||
|
/8 |
/16 |
3 |
/4 |
2 |
|
Сколько информации содержится в среднем в принятом символе относительно переданного?
2.3.7. На вход приемника телеметрической системы поступает импульс с вероятностью α. При наличии импульса на входе вследствие действия помех решающее устройство дает ответ «да» с вероятностью β и «нет» с вероятностью 1- β; при отсутствии импульса на входе – ответ «да» с вероятностью γ и «нет» с вероятностью 1– γ. Определить среднее количество информации
о |
переданном сигнале по |
наблюдению |
принятого сигнала: |
а) |
в |
общем |
виде, |
б) при α = 0,7, β = 0,8, γ = 0,4.
2.3.8. Известно, что из 100 изготовленных деталей в среднем 10 деталей имеют дефекты. Для выявления брака используется метод, дающий всегда отрицательный ответ, если деталь изготовлена с браком. Если брак отсутствует, то деталь признается годной лишь в 80% случаев. Какое количество информации о качестве детали можно получить в среднем по результату такого метода отбраковки?
2.3.9. Для некоторого пункта вероятность того, что 15 июня будет идти дождь, равна 0,5, а вероятность дождя 15 о к- тября равна 0,8. Используемый метод прогноза погоды на 15 июня оказывается правильным, в 3/5 тех случаев, когда предсказывается дождь, и в 4/5 случаев, когда предсказывается отсутствие осадков. Этот же метод прогноза погоды на 15 октября оказывается правильным в 9/10 случаев, когда предсказывается дождь, и в половине случаев, когда предсказывается отсутствие
дождя. В какой из указанных дней прогноз дает в сред |
нем |
больше информации о реальной погоде? |
|
2.3.10. По дискретному каналу связи передаются сообщения «да» и «нет», приему которых соответствует появление зеленого
52
или красного светового сигнала. Из-за воздействия шума приему зеленого сигнала в 4 случаях из 5 соответс твует передача сигнала «да» и в одном случае – сигнала «нет», приему красного сигнала в 3 случаях из 5 соответствует передача сигнала «да» и в 2 – сигнала «нет». Определить среднее количество информации о переданном сигнале, содержащееся в принятом сообщении, если прием зеленого и красного сигналов одинаково вероятен.
2.3.11.В условиях задачи 2.3.10 определить количество информации, содержащееся в сообщении, если приему красного или зеленого сигнала соответствует один и тот же процент передачи сигналов «да» или «нет».
2.3.12.По дискретному каналу с помехами передаются рав-
новероятные и статистически независимые телеграфные посылки (+) и паузы ( –). В результате действия помех на выходе приемника могут регистрироваться символы 0, +, –. Условные вероятности заданы табл. 2.3.2.
Таблица 2.3.2
|
ук |
|
|
|
j |
у |
|
у |
у |
1 |
|
2 |
3 |
|
|
|
|||
|
1 |
|
6 |
1 |
1 |
/32 |
|
1/64 |
/64 |
|
1 |
|
1 |
6 |
2 |
/32 |
|
/64 |
1/64 |
Какова в среднем взаимная информация в принятом символе относительно переданного?
2.3.13. Радиостанция противника может работать на часто-
тах f1 и f2 (события x1 и х2) в режимах AT и ЧТ (события y1 и y2). Совместные плотности вероятностей заданы табл. 2.3.3.
Таблица 2.3.3
уj |
xк |
|
x |
x |
|
|
1 |
2 |
у1 |
0 |
0 |
.7 |
.05 |
53
у2 |
0 |
0 |
.1 |
.15 |
Вычислить среднее количество информации относительно режима работы станции, если стала известна ее частота.
2.3.14. Студент может получить зачет с вероятностью 0,3, не проработав весь материал, и с вероятностью 0,9, проработав весь материал курса. Какое количество информации о подготовленности студента к зачету можно получить по данным о результатах сдачи зачета? В среднем 90% студентов готовы к сдаче зачета.
2.3.15. Имеется последовательность, состоящая из n двоичных символов X (1),...,X ( n ) . Возможно появление только тех
реализаций, которые содержат четное число единиц, и все такие реализации равновероятны: а) вычислить вероятность появления реализации, состоящей из
одних |
|
|
|
нулей; |
б) |
найти |
средние |
взаимные |
информации |
I (X (2 );X (1) ); |
I (X (3);X (1),X (2 ) ); I (X ( n );X (1),...,X ( n −1) ); |
|||
в) проверить полученные результаты при n = 3.
2.3.16. Запись погоды в некотором городе дается в приводимой ниже табл. 2.3.4, числа указывают относительную частоту соответствующих событий.
Таблица 2.3.4
Предска- |
На самом деле |
||
Д |
Нет |
||
зание |
|||
ождь |
дождя |
||
|
|||
Дождь |
1/ |
3/16 |
|
8 |
|||
|
|
||
Нет до- |
1/ |
10/16 |
|
ждя |
16 |
||
|
|||
Умный студент заметил, что составитель прогноза прав только в 12/16 случаев, но мог бы быть правым в 13/16 случаев, предсказывая всегда отсутствие дождя. Студент объяснил ситу-
54
ацию и написал заявление о приеме на работу в бюро прогнозов, но начальник бюро прогнозов, который, разумеется, был специалистом по теории информации, отклонил его заявление. Почему?
2.3.17. Двоичный стирающий канал является одним из наиболее простых типов канала с шумом. В нем переданные символы могут быть «стертыми», но никогда не могут быть приняты ошибочно. Найти среднее количество информации, переносимое одним символом в таком канале, если вероятность стирания равна 0,1 и не зависит от переданного символа.
2.3.18. Докажите, что никакое преобразование реализаций случайной величины Y не может увеличить количество информации, содержащейся в ней относительно другой случайной величины X.
2.4 Информационные характеристики случайных последовательностей
Энтропия. Пусть имеется отрезок случайной функции X(t), дискретной по времени и амплитуде, и он полностью определя-
ется последовательностью отсчетов X (1),...,X ( n ) , взятых в моменты времени t1,...,tn . Тогда энтропия отрезка этой случайной
функции длиною в n отсчетов (m-ичных символов) равна |
|
|||||
H |
n |
( |
t |
) |
|
|
X |
|
= |
|
|
||
|
|
|
|
m |
m |
|
|
|
−∑ ∑p (x(j1), , xk(n) )log p (x(j1), , xk(n) ). |
(2.4.1) |
|||
|
|
|
|
j=1 |
k =1 |
|
Для стационарных случайных последовательностей используют более удобную характеристику, называемую энтропией случайной последовательности
|
|
|
|
H |
X (t) |
|
бит |
|
|
|
H X (t) |
= |
lim |
|
n |
|
|
. |
|
||
|
|
n→∞ |
|
|
n |
|
симв |
|
(2.4.2) |
|
Эта величина имеет смысл средней энтропии, приходящейся на один отсчёт (символ) в реализациях бесконечно большой длины.
55
Энтропия случайной последовательности удовлетворяет неравенствам (2.4.3) и (2.4.4).
|
( ) |
1 |
( ) |
, |
(2.4.3) |
H X t ≤ H |
X t |
|
|||
где H 1 X (t ) – энтропия одного из отсчетов.
Энтропия случайной последовательности достигает наибольшего значения (знак равенства в (2.4.3)) только тогда, когда отдельные отсчеты функции X(t) (т.е. случайные величи-
ны X (1),...,X ( n ) ) |
|
статистически |
независимы (см. формулу |
||||||
(2.2.4)). |
|
|
|
|
|
|
|
|
(2.4.4) |
H |
1 |
X |
t |
|
≤ H |
1max |
, |
||
|
|
( |
) |
|
|
|
|||
где H 1max - максимальное значение энтропии одного символа.
Энтропия случайной последовательности максимальна, когда все возможные значения символов равновероятны (см. формулу (2.2.3)). В итоге получаем
H X (t ) |
≤ log m. |
(2.4.5) |
|
|
|
|
|
Можно найти и среднюю условную энтропию стационарной случайной последовательности X(t). Она вычисляется при условии, что известно значение другой дискретной случайной последовательности Y(t), также стационарной и стационарно связанной с X(t):
|
|
|
|
|
|
|
|
|
|
H |
X (t) |
Y (t) |
|
бит |
|
|
|
|
|
|
|
|
|
|
= |
lim |
|
n |
|
|
, |
(2.4.6) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
H X (t) |
Y (t) |
|
n |
|
|
симв |
|
|||||||||
где |
|
|
|
|
|
|
|
|
n→∞ |
|
|
|
|
|
||
|
( |
|
) |
|
( |
|
|
|
|
|
|
|
|
|
|
|
H |
X |
t |
Y |
t |
= |
|
|
|
|
|
|
|
|
|||
|
n |
|
|
|
) |
|
|
|
|
|
|
|
|
|||
|
|
m |
|
|
m |
m |
m |
|
|
|
|
|
|
|
||
|
−∑ ∑∑...∑p (x(j1), , xk(n), yr(1), , yq(n) ) |
(2.4.7) |
||||||||||||||
|
|
j=1 |
|
k =1 r=1 |
q=1 |
|
|
|
|
|
|
|
||||
|
|
|
|
|
log p (x(j1), , xk(n), yr(1), , yq(n) )). |
|
|
|||||||||
Взаимная информация. Среднее количество информации, содержащейся в отрезке последовательности Y(t) относительно отрезка X(t), равно