Материал: 6593
21
|
|
1 |
|
|
|
|
|
|
1 |
|
x |
2 |
|
2rxy |
|
|
y |
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
W (x, y) = |
|
|
|
|
|
|
exp − |
|
|
|
|
|
− |
|
+ |
|
|
|
|
|
|
|
|
|
2(1 |
|
|
|
σxσy |
σy2 |
|||||||
2πσ σ |
|
1 |
−r2 |
|
|
|
||||||||||||
|
y |
|
|
−r2 ) σx2 |
|
|
||||||||||||
|
x |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Определить: а) условную плотность вероятности W (x / б) условное математическое ожидание M [X / y],
в) условную дисперсию D[X / y].
.
y) ,
1.16 Сообщение X на входе линии связи есть случайная величина, имеющая нормальное распределение с mx = 0 В,
σx =10 В. Сигнал на выходе линии Y = X + Z , где помеха Z - случайная величина, независимая от X и имеющая нормальное
распределение с параметрами |
mz = 0 В, |
σz =1 |
В. |
Указать |
||||
наиболее вероятное значение переданного сообщения |
x , если |
|||||||
сигнал на выходе линии равен 7 В? |
|
|
принять одно из m |
|||||
1.17 Случайная величина |
X |
может |
||||||
значений |
x1, x2 ,..., xm . Какими |
должны |
быть |
вероятности |
||||
|
|
1 |
|
|
|
|
|
|
p(xj ) , чтобы величина M ln |
|
|
приняла наибольшее зна- |
|||||
|
|
|
||||||
|
|
p(X ) |
|
|
|
|||
чение? Чему равно это значение? |
|
|
|
|
|
|||
1.18 |
В двоичном симметричном канале с независимыми |
|||||||
ошибками найти вероятность того, что в 1000-разрядной кодовой комбинации возникнет не более двух ошибок, если битовая вероятность ошибки равна:
а) 10–2; а) 10–5.
1.19 В двоичном симметричном канале с независимыми ошибками битовая вероятность ошибки равна 10–2. Оценить вероятность того, что в 1000-разрядной кодовой комбинации возникнет от 70 до 90 ошибок.
Указание. На основании центральной предельной теоремы теории вероятностей использовать аппроксимацию огибающей биномиального распределения колокольной кривой.
1.20 Найти максимальное значение модуля ошибки квантования по уровню и ее среднеквадратическое значение, если шаг квантования равен 0,05 В.
22
2 ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ЦИФРОВЫХ СИГНАЛОВ
2.1Собственная информация. Взаимная информация
Описание дискретного канала. Цифровымым называется такой канал, сигналы на входе и выходе которого являются последовательностями дискретных случайных величин (символов).
Для полного описания канала на интервале времени, соответствующем передаче одного символа, необходимо задать ан-
самбли символов на входе X и выходе Y и условные вероятно-
сти переходов |
p(yk / xj ) . В дальнейшем будем обозначать: |
|||||||||
|
x , x |
,..., x |
j |
,..., x |
|
|
|
|||
X |
1 |
2 |
|
|
n |
|
- ансамбль сообщений на входе, |
|||
= |
|
|
|
|
|
|
|
|
||
|
p(x1),..., p(xj ),..., p(xn ) |
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
Y |
y , y |
|
,..., y |
|
|
,..., y |
|
|
- ансамбль сигналов на выходе. |
|
= 1 |
2 |
|
|
k |
|
m |
|
|||
|
p(y1),..., p(yk ),..., p(ym ) |
|
||||||||
Собственная информация. Поскольку появление символа сообщения xj на входе дискретного канала есть событие слу-
чайное, то имеет место неопределенность исхода. В результате опыта неопределенность уменьшается или даже исчезает полностью, и при этом получается некоторое количество информации.
Тогда собственная информация символа xj (количество информации, доставляемое самим символом xj или любым другим, однозначно с ним связанным) определяется как
I(xj ) = −log p(xj ) = log |
1 |
, |
(2. |
|
p(xj ) |
||||
|
|
1.1) |
т.е. информация в каком-либо событии измеряется логарифмом величины, обратной вероятности его появления.
Выбор основания логарифма loga p(xj ) определяет единицу количества информации. Если a = 2 , то единица информа-
23
ции называется двоичной (бит), при a = e – натуральной (нат), а при a =10 – десятичной. Двоичная единица количества инфор-
мации, например, есть собственная информация символа, обладающего двумя равновозможными состояниями. Переход от одной системы логарифмов к другой равносилен простому изменению единицы измерения информации. Этот переход осуществляется по формуле
logb k = logb a loga k .
Отсюда 1 нат = log2 e бит =1,4427 бит,
1 дес. ед.= log2 10 бит = 3,3219 бит .
Условная собственная информация. В общем случае со-
общения X и сигналы Y на входе и выходе дискретного канала
зависимы. Пусть |
p(xj / yk ) |
- условная вероятность того, что |
|
реализовалось состояние xj |
ансамбля X при условии, что ан- |
||
самбль Y принял состояние |
yk . Тогда, по аналогии с собствен- |
||
ной, информация, содержащаяся в символе сообщения |
xj при |
||
условии, что сигнал принял значение yk , определяется как |
|||
I(xj |
/ yk ) = −log p(xj / yk ) |
(2.1.2) |
|
и называется условной собственной информацией.
Взаимная информация. Обратимся снова к ансамблям X и Y . Пусть ансамбли зависимы. В результате опыта (приема
символа сигнала |
yk ) апостериорная вероятность |
p(xj / yk ) по- |
|
явления |
символа |
xj изменяется по сравнению |
с априорной |
p(xj ) . |
Тогда количество информации относительно символа |
||
сообщения xj , доставляемое символом сигнала yk , можно
определить как логарифм отношения апостериорной вероятности к априорной
I(xj ; yk ) = log |
p(xj / yk ) |
. |
(2.1.3) |
|
|||
|
p(xj ) |
|
|
Это и есть взаимная информация.
24
Основные свойства взаимной информации.
1) Взаимная информация может быть отрицательной, положительной и равной нулю в зависимости от соотношения между априорной и апостериорной вероятностями
|
−∞ < I(xj ; yk ) < ∞. |
(2.1.4) |
2) Взаимная информация не превышает собственную |
(2.1.5) |
|
I(xj ; yk ) ≤ I(xj ) , I(xj ; yk ) ≤ I(yk ) . |
||
При |
данной вероятности p(xj ) взаимная информация |
|
I(xj ; yk ) |
достигает максимума, когда принятый символ |
yk од- |
нозначно определяет переданный символ xj . При этом
0, |
j ≠ k, |
p(xj / yk ) = |
j = k, |
1, |
и максимальное значение взаимной информации
I(xj ; yj ) = −log p(xj ) ,
равно собственной информации, определяемой только априор-
ной вероятностью символа xj . |
|
3) Свойство симметрии |
(2.1.6) |
I(xj ; yk ) = I(yk ; xj ) , |
|
т.е. информация, содержащаяся в yk относительно |
xj , равна |
информации, содержащейся в xj относительно yk . В силу этого свойства информацию I(xj ; yk ) называют взаимной информа-
цией между xj и yk .
4) Свойство аддитивности количества информации
I(xj , zi ; yk , ql ) = I(xj ; yk ) + I(zi ;ql ) |
(2.1.7) |
Если пара XY независима от пары ZQ , |
то информация, |
содержащаяся в пape yk qi относительно пары xj zi , равна сумме информации, содержащейся в yk относительно xj , и информации, содержащейся в ql относительно zi .
25
РЕШЕНИЕ ТИПОВЫХ ПРИМЕРОВ Пример 2.1.1. Определить собственную информацию, со-
держащуюся в изображении, при условии, что оно разлагается на 500 строк по 500 элементов в каждой строке. Яркость каждого элемента передается одним из восьми квантованных уровней. Различные градации яркости равновероятны, а яркости разных элементов статистически независимы.
Решение. Обозначим случайной величиной X яркость одного элемента изображения. По условию задачи все 8 градаций
яркости одинаково вероятны, т.е. p(xj ) =1
n , где n = 8 и, сле-
довательно, собственная информация одного элемента для любого j по формуле (2.1.1)
I(xj ) = log2 n .
Изображение содержит N = 500 500 = 2,5 105 элементов.
Так как яркости элементов независимы, то по свойству аддитивности информации
I(изображения) = NI(xj ) = N log2 n = 2,5 105 3= 7,5 105 бит.
Пример 2.1.2. На экране индикатора РЛС, представляющего поле с 10 вертикальными и 10 горизонтальными полосами, появляется изображение объекта в виде яркостной отметки. Все положения объекта равновероятны.
Определить количество информации, содержащееся в сообщениях:
а) объект находится в 46-м квадрате экрана; б) объект находится в 5-й горизонтальной строке экрана;
в) объект находится в 6-м вертикальном столбце и 3-й горизонтальной строке экрана.
Решение. а) Пусть x46 - сообщение о том, что объект нахо-
дится в 46-м квадрате экрана.
Собственная информация в этом сообщении по формуле (2.1.1) равна I(x46 ) = −log2 p(x46 ) . Безусловная вероятность сообщения – объект находится в 46-квадрате экрана – равна p(x46 ) = m
n , где n – общее число возможных исходов (квадратов поля), m – число исходов, благоприятствующих событию