Материал: 6593
61 |
|
|
|
||||
|
|
|
|
0 |
3 / 4 |
1/ 4 |
|
|
|
|
|||||
P = |
|
|
|
0 |
1/2 |
1/2 |
|
|
|
|
|
1 |
0 |
0 |
|
Вычислить:
а) энтропию одного символа, б) энтропию последовательности и избыточность.
2.4.9. На кольцевой трассе расположено 10 станций. По трассе в направлении часовой стрелки курсирует автобус, делая остановки на каждой станции. Исключение составляет только станция № 1, с которой с вероятностью 0,8 автобус может вернуться «а предыдущую станцию. С каждой станция-водитель посылает сообщение о направлении дальнейшего движения. Найти среднюю информацию, содержащуюся в одном сообщении, и избыточность.
2.4.10. На водохранилище имеются 3 контрольные отметки. Сброс воды из водохранилища производится периодически один раз в год, а в промежутках между этими моментами оно заполняется. Поступление воды поднимает уровень на одну отметку с вероятностью 0,7 и с вероятностью 0,3 сохраняет его неизменным. Величины поступлений в различные годы независимы. Если уровень воды достигает отметки № 3, то после сброса он понижается до отметки № 1; в остальных случаях сброс не производится. Найти среднее количество информации, содержащейся в сообщениях об уровне воды.
2.4.11. На входе канала связи имеется последовательность двоичных независимых равновероятных символов. Ошибки в канале приводят к изменению значений некоторых символов на обратные, причем вероятность ошибки в k–м символе зависит лишь от наличия ошибки в предыдущем, (k–1)-м символе, а именно, она равна 0,2 при наличии ошибки в (k–1)-м символе и равна 0,05 при отсутствии ее. Найти среднюю величину
передаваемой информации в расчете на символ.
62
3 ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ АНАЛОГОВЫХ СИГНАЛОВ
3.1 Взаимная информация
Определение непрерывного канала. Непрерывным (ана-
логовым) называется канал, в котором сигналы на входе x(t) и выходе y(t) являются реализациями непрерывных случайных функций.
В дальнейшем в качестве входного и выходного сигналов будут рассматриваться только такие функции, спектр которых заключен в ограниченной полосе частот от 0 до FB. Такие функции полностью определяются последовательностью отсче-
тов, взятых с шагом ∆t =1
2FÂ .
Для полного описания канала в фиксированный момент времени t1 достаточно задать совместную плотность вероятностей W(x, у) системы двух отсчетов, т.е. непрерывных случайных величин X=X(t1) и Y=Y(t1). Часто для расчетов более удобными являются следующие характеристики:
W(x) – одномерная плотность вероятности сообщения, W(y) – одномерная плотность вероятности сигнала,
W(x/y) – условная плотность вероятности сообщения х при известном у,
W(y/x) – условная плотность вероятности сигнала у при заданном х.
Соотношения, связывающие эти плотности вероятности, см. в разд. 1, формулы (1.3) – (1.5).
Обобщим понятие взаимной информации на непрерывные сигналы.
Взаимная информация. По аналогии с дискретным случаем взаимной информацией называют величину
I (x; y)= log |
W (x, y) |
= |
|
||||
W (x)W (y) |
(3.1.1) |
||||||
|
|
|
|
||||
log |
W (x y) |
= log |
W (y x) |
. |
|||
|
W (x) |
W (y) |
|||||
63
Свойства взаимной информации I(х;у) для непрерывных случайных величин х и у аналогичны свойствам взаимной информации I(xj;yk) для дискретных случайных величин, за исключением свойства 2, связанного с понятием собственной информации, неприменимым к непрерывной случайной величине (см. далее в разд. 3.2).
Средняя взаимная информация. Рассмотрим среднее зна-
чение взаимной информации для объединенного ансамбля XY. Здесь возможны следующие случаи. Средняя информация, содержащаяся в реализации у принятого сигнала относительно ансамбля передаваемых сообщений X, есть
|
W (X y) |
∞ |
|
||
I (X ; y)= M log |
|
|
= ∫ |
W (x y)I (x; y)dx = |
|
W (X ) |
|||||
|
|
−∞ |
(3.1.2) |
||
∞∫W (x
y)log W (x
y)dx.
−∞
Иначе, это – средняя взаимная информация между ансамблем X и реализацией у.
Средняя информация, содержащаяся в реализации передаваемого сообщения x относительно ансамбля Y, равна
|
W (Y x) |
|
∞ |
|
|||
I (Y; x)= M log |
|
|
|
= |
∫W (y |
x)I (x; y)dy = |
|
|
|
||||||
|
W (Y ) |
|
−∞ |
(3.1.3) |
|||
∞∫W (y x)log |
W (y x) |
dy |
|
||||
|
|
||||||
−∞ |
|
W (y) |
|
|
|
||
Это – средняя взаимная информация между ансамблем Y и реализацией х.
Средняя информация о непрерывной случайной вели-
чине X, заключенная в непрерывной случайной величине Y, |
|
|||||
|
W (X Y ) |
∞ ∞ |
W (x y) |
|
|
|
I (X ;Y )= M log |
|
|
= ∫ ∫W (x, y)log |
|
dxdy |
(3.1.4) |
|
W (x) |
|||||
|
W (X ) −∞ −∞ |
|
|
|||
есть средняя взаимная информация между ансамблями X и Y. Средняя взаимная информация неотрицательна, обладает свойством симметрии и связана с относительными энтропиями
64
(см. разд. 3.2) непрерывных случайных величин X и Y следующим образом:
I (X ;Y )= H (X )− H (X /Y )= H (Y )− H (Y / X ). (3.1.5)
РЕШЕНИЕ ТИПОВЫХ ПРИМЕРОВ Пример 3.1.1. Вольтметром измеряется напряжение в элек-
трической сети. Ошибка измерения не зависит от истинного значения напряжения и распределена нормально с нулевым математическим ожиданием и среднеквадратическим отклонением, равным 2 В. Истинное значение напряжения в сети также имеет нормальное распределение с математическим ожиданием 220 В и СКО, равным 10 В.
Найти:
а) зависимость величины получаемой информации от показаний прибора,
б) среднюю величину получаемой информации. Решение. Введем обозначения:
X – напряжение в сети,
V – ошибка измерения,
Y = X + V – показание прибора.
Из условия задачи записываем плотности вероятностей:
W (x)= |
|
1 |
|
|
|
|
|
(x −mx )2 |
|
|
||||
|
|
|
|
|
|
exp − |
|
|
|
, |
||||
|
|
|
|
|
|
|
2σx2 |
|||||||
|
|
2πσx |
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
W (y x)= |
1 |
|
|
exp − |
(y − x)2 |
. |
||||||||
|
|
|
|
|
|
2σv2 |
|
|||||||
|
|
|
|
2πσv |
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Безусловную плотность вероятности величины Y можно найти по общей формуле (1.3), но проще поступить следующим образом. Показание прибора Y есть сумма двух независимых нормальных случайных величин и, следовательно, Y также имеет нормальное распределение с математическим ожиданием
my = mx + mv = mx = 220 Â
и дисперсией
σy2 =σx2 +σv2 =104 Â2 .
|
|
|
|
65 |
|
|
|
Итак, |
|
|
|
|
|
||
W (y)= |
|
1 |
|
|
(y −mx )2 |
||
|
|
|
exp − |
|
. |
||
|
|
|
2σy2 |
||||
2πσy |
|||||||
|
|
|
|
||||
|
|
|
|
|
|
|
|
Условную плотность вероятности х находим по формуле
(1.4)
2πσy
2πσv 
2πσx
W (x y)= W (y
x()W) (x) =
W y
|
1 |
|
(y − x) |
2 |
|
(x −mx ) |
2 |
|
(y −mx ) |
2 |
|
|
|
|
|
+ |
|
− |
|
|
|
||||
exp − |
2 |
σv2 |
|
σx2 |
|
σy2 |
|
. |
||||
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
В выражении, стоящем под знаком экспоненты, осуществляем возведение в квадрат и затем группируем члены, содержащие х2 и х. В итоге убеждаемся, что условное распределение величины х также нормально
|
1 |
|
|
x −S (y ) |
2 |
|
||||
|
|
|
|
|
|
|||||
W (x y )= |
|
|
|
exp − |
|
|
|
|
, |
|
|
|
|
|
2δ2 |
|
|||||
2πδ |
||||||||||
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
где S (y )= m |
x |
+ |
σx2 |
(y −m |
x |
) – условное математическое |
|
|
|
|
σ2 |
|
|
||
|
|
|
|
y |
|
|
|
ожидание X, |
|
|
|
|
|
|
|
δ2 = |
σ2σ2 |
|
- условная дисперсия X. |
||||
x v |
|
||||||
|
σ2 |
|
|
|
|
|
|
|
y |
|
|
|
|
|
|
Для ответа на вопрос п. а) следует по формуле (3.1.2) вычислить величину средней взаимной информации между ансамблем X и реализацией у
I (X ; y)= M ln W ((X 
y)) =W X
|
σx |
|
X − S |
( |
y |
2 |
|
(X |
− |
mx ) |
2 |
|
|
|
|
|
|
) |
|
|
|
||||
M ln |
|
− |
|
|
|
|
|
+ |
|
|
|
. |
δ |
|
2δ 2 |
|
|
|
2σx2 |
||||||
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|