Материал: 6593
66
Находим квадраты разностей и выносим за знак математического ожидания слагаемые и множители, не зависящие от х. Далее учитываем, что вычисляются условные математические ожидания при конкретном значении у, поэтому
M[X ]= S (y), M |
|
2 |
= S |
2 |
(y)+δ |
2 |
. |
|||||||||||||||
X |
|
|
|
|
||||||||||||||||||
В итоге получаем |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
I (X ; y)= |
1 |
|
σy2 |
|
|
1 |
σ 2 |
|
y −m |
x |
|
2 |
|
|
|
|||||||
|
ln |
|
|
|
+ |
|
x |
|
|
|
|
|
|
|
−1 |
= |
||||||
2 |
σ 2 |
|
|
|
|
σ |
|
|
|
|||||||||||||
|
|
|
|
2 σ 2 |
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
v |
|
|
|
y |
|
|
|
|
y |
|
|
|
|
|
|
|
||
1 ln 104 |
+ |
100 |
|
(y −220)2 |
−1 = |
|||||||||||||||||
2 104 |
||||||||||||||||||||||
2 |
|
|
4 |
|
|
|
104 |
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(y −220)2 |
|
|
|
í àò. |
||||||||||
1,629 +0,4801 |
|
|
104 |
|
|
|
−1 |
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Таким образом, искомая зависимость есть параболическая функция разности y −mx , причем наименьшее количество информации, равное 1,1482 нат, доставляет наиболее вероятное показание прибора y = mx = 220 В .
Для ответа на вопрос п. б) необходимо найти среднюю величину взаимной информации между ансамблями X и Y. Вычисляем безусловное математическое ожидание величины I(Х; у).
При этом учитываем, что M (Y −mx )2 =σy2 , и получаем
I (X ;Y )= |
1 |
|
σy2 |
|
1 |
|
σ 2 |
|
|
|
ln |
|
= |
|
ln 1+ |
x2 |
|
=1,629 í àò. |
|
2 |
2 |
2 |
|||||||
|
|
σv |
|
|
σv |
|
|
Обратите внимание, что в среднем количество получаемой информации в данном примере зависит только от отношения
«сигнал/ошибка» σx 
σv .
Пример 3.1.2. Для контроля исправности блока периодически измеряют значение напряжения в контрольной точке схемы. Если блок исправен, то это напряжение равно 1 В, в противном случае – 0 В. Ошибка вольтметра распределена равномерно с
67
нулевым математическим ожиданием, но ширина этого распределения зависит от величины измеряемого напряжения: она равна 2 В, если напряжение на входе 1 В, и 1 В – в противном случае. В среднем в 90% времени блок исправен.
Найти количество информации, доставляемой прибором при одном измерении.
Решение. Введем обозначения:
X – измеряемое напряжение, Y – показание вольтметра. Из условия задачи следует, что величина X – двоичная,
причем x1 =1; x2 = 0; p (x1 )= 0,9; p (x2 )= 0,1.
Сигнал Y есть непрерывная случайная величина, и для нее заданы условные плотности вероятности:
W (y x1 )= |
0,5, |
||
|
0, |
||
|
|
|
|
W (y x2 ) |
1, |
|
|
= |
|
y |
|
|
0, |
||
0 ≤ y ≤ 2, y < 0, y > 2, −0,5 ≤ y ≤ 0,5,
< −0,5, y > 0,5.
Рассматриваемый канал является дискретнонепрерывным, так как входной сигнал дискретен, а выходной непрерывен. Требуется найти среднюю взаимную информацию
I(X;Y).
Найдем безусловную плотность вероятности выходного сигнала:
W (y)= p (x1 )W (y
x1 )+ p (x2 )W (y
x2 )=
|
0, |
y < −0,5, |
|
0,1, |
−0,5 ≤ y < 0, |
|
||
|
|
0 ≤ y ≤ 0,5, |
0,55, |
||
0,45, |
0,5 < y ≤ 2, |
|
|
0, |
2 < y. |
|
||
|
|
|
Далее вычисляем величину средней взаимной информации, учитывая соотношение (3.1.3)
I (X ;Y )= p (x1 )I (Y; x1 )+ p (x2 )I (Y; x2 )=
68
|
|
|
|
|
2 |
|
|
|
|
|
|
W (y x1 ) |
|
|
|
|
|
|
|||||
|
p (x1 ) |
∫W (y x1 )log |
|
|
|
|
|
dy + |
|
|
|||||||||||||
|
|
W (y) |
|
|
|
||||||||||||||||||
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
0.5 |
|
|
|
|
|
|
W (y x2 ) |
|
|
|
|||||||
|
|
p (x2 ) |
|
∫ W (y x2 )log |
|
|
|
|
|
|
dy = |
|
|||||||||||
|
|
|
W (y) |
|
|
|
|||||||||||||||||
|
|
|
|
|
−0.5 |
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
0,5 |
|
|
|
|
|
0,5 |
|
|
|
2 |
|
|
|
|
0,5 |
|
|
||||
0,9 |
|
|
∫ |
0,5 log |
|
dy + |
∫ |
0,5 log |
|
|
|
dy |
+ |
||||||||||
|
0,55 |
0,45 |
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
0 |
|
|
|
|
|
|
|
|
|
0,5 |
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
1 |
|
|
0,5 |
|
|
|
|
1 |
|
|
|
|
|
|
||
0,1 |
∫ |
1 log |
|
dy + |
∫ |
1 log |
dy |
= 0,2809 áèò. |
|||||||||||||||
0,1 |
0,55 |
||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
−0,5 |
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
||||
ЗАДАЧИ
3.1.1.Автобусы ходят ровно через 10 мин. Пассажир случайно вышел на остановку и узнал, что в последние 7,5 мин, автобуса не было. Сколько информации он получил?
3.1.2.Погрешность фазометра распределена нормально со с.к.о. 3°. Найти количество информации, получаемой при измерении значения начальной фазы радиосигнала, если она может с одинаковой вероятностью принять любое значение.
3.1.3.Некто обладает развитым чувством времени и может без часов угадать текущее значение времени. Указанное им значение всегда бывает меньше истинного и распределено по экспоненциальному закону со средним 10 мин. Человек посмотрел,
на часы, о которых известно, что они всегда отстают, причем ошибка их показаний распределена также экспоненциально со средним 30 с. Сколько информации он при: этом получил?
3.1.4.Найти величину взаимной информации между исходной и квантованной величинами в задаче 1.5.
3.1.5.Вычислить взаимную информацию между случай-
ными |
величинами: |
а) из задачи 1.10; б) из задачи 1.13. |
|
3.1.6.Случайные величины X и Y имеют совместное нормальное распределение. Найти зависимость средней взаимной информации от коэффициента корреляции.
3.1.7.Вес изделия из большой партии есть случайная ве-
69
личина, распределенная по нормальному закону со с.к.о., равным 10 кг. Из партии наугад берут изделие и 100 раз взвешив а- ют на стрелочных весах со среднеквадратичной погрешностью 100 г. Результаты всех взвешиваний суммируют.
Вычислить количество информации, содержащейся в суммарном результате.
3.1.8. Сигнал на выходе радиолокационного приемника является суммой отраженного от цели сигнала и независимого внутреннего нормального шума, имеющего нулевое среднее к с.к.о. 0,1 В. Амплитуда отраженного от цели сигнала равна 5 В.
Найти величину получаемой информации, если вероятность появления цели в зоне действия радиолокатора равна
0,01?
3.1.9. Сигнал; имеющий функцию распределения
|
0, |
x < 0, |
|
|
0 ≤ x ≤10, |
F (x )= 0.01x 2 , |
||
|
1, |
10 < x. |
|
||
подвергается равномерному квантованию с шагом, разным
2.Сколько информации содержится в квантованном сигнале?
3.1.10.Сигнал X, имеющий нормальное распределение, од-
новременно передается по двум параллельным каналам. В каждом канале действует аддитивный нормальный шум Q с нуле-
вым средним и с.к.о. σq = kσx . Шумы в каналах независимы
между собой и от входного сигнала:
а) вычислить среднюю взаимную информацию между входным сигналом X и парой выходных сигналов YZ;
б) привести пример преобразования двух выходных сигналов в один G = f(Z, Y), не разрушающего информации, т. е. такого, что
I(X; G) = I(X; YZ).
3.1.11. * Сообщение X = (X (1), ,X (n ) )и сигнал
Y = (Y (1), ,Y (n ) ) в совокупности образуют систему 2n нор-
мальных случайных величин с единичными с.к.о. Найти среднюю взаимную информацию между подсистемами X и Y, если
70
заданы корреляционные матрицы R, В и Q, имеющие элементы:
R |
= M |
|
X |
(i) |
X |
(k ) |
, |
B |
(i) |
(k ) |
, |
|
|
|
= M Y Y |
|
|||||||
ik |
|
|
|
|
|
ik |
|
|
|||
|
|
|
(i) |
(k ) |
, |
|
i, k =1, , n. |
|
|||
Qik = M X |
|
Y |
|
|
|
||||||
3.2 Относительная (дифференциальная) энтропия
Определения. Из формулы (2.2.3) видно, что даже в дискретном случае при бесконечном числе состояний энтропия не имеет верхней грани. Тогда неопределенность реализации одного из бесконечного множества состояний (т.е. непрерывной случайной величины) может быть сколь угодно велика – непрерывные случайные величины не допускают введения конечной абсолютной меры неопределенности. Поэтому вводится относительная мера неопределенности – относительная энтропия
|
ä ( |
|
) |
|
( |
|
|
∞ |
|
( |
|
|
( |
|
|
|
H |
X |
= M −logW |
X |
= − |
∫ |
W |
x |
logW |
x |
dx. |
(3.2.1) |
|||||
|
|
|
|
) |
|
) |
|
) |
|
−∞
Благодаря связи с дифференциальным законом распределения вероятностей ее называют еще дифференциальной энтропией (в дальнейшем изложении индекс д и слово «дифференциальная» будем опускать, но помнить, что если речь идет о н е- прерывной случайной величине, то ее энтропия Н(Х) есть величина относительная).
Аналогично для относительной энтропии непрерывной случайной величины Y имеем
H (Y )= − ∞∫W (y)logW (y)dy. |
(3.2.2) |
−∞ |
|
Для средней условной энтропии имеем |
|
H (X Y )= − ∞∫ ∞∫W (x, y)logW (x y)dxdy, |
(3.2.3) |
−∞ −∞ |
|
H (Y X )= − ∞∫ ∞∫W (x, y)logW (y x)dxdy. |
(3.2.4) |
−∞ −∞ |
|
Свойства. Энтропия непрерывных величин обладает свойствами, во многом аналогичными свойствам энтропии дискрет-