Материал: 6593

Внимание! Если размещение файла нарушает Ваши авторские права, то обязательно сообщите нам

Стационарный источник без памяти генерирует символы с

частотой F =1 τ.	Априорные вероятности символов на входе
равны p(a1) = p,	p(a2 ) = p(a3 ) = q .

Нарисовать граф канала. Вычислить скорость создания информации, скорость передачи информации, ненадёжность.

Решение. Канал можно изобразить в виде графа (рис.4.2), используя матрицу P в общем виде

p(b1 a1)

P= p(b1 a2 ) p(b1 a3 )

p(b2 p(b2 p(b2

a1)

a2 ) a3 )

p(b3 a1) p(b3 a2 ) . p(b3 a3 )

Источник и канал стационарны и не имеют памяти, поэтому скорость Рис. 4.2 создания информации равна H(A), ско-

рость передачи информации равна I(A;B) и ненадёжность равна

H(A/B).

Для нахождения условной энтропии H(A/B) надо знать в е- роятности p(a j bk ) . Их можно найти по формулам (1.3) и

(1.4). Так как символ a1 не искажается, то p(b1) = p(a1) = p .

Поскольку символы a2 и a3	искажаются симметрично,		а
p(a2 ) = p(a3 ) , то вероятности	p(b2 ) = p(b3 ) , и тогда обра		т-
ные вероятности
p(a2 b2 ) = p(a3 b3 ) =1− pe ,	p(a3 b2 ) = p(a2 b3 ) = pe .
Энтропия сигнала на входе		áèò .
H (A) = −∑p(ai )log p(ai ) = −p log p −2q log q		áèò .
3
i=1		ñèì â

Скорость передачи равна средней взаимной информации

I(A; B) = −∑p(bj )log p(bj ) +

j=1

{p(a1)[ p(b1 a1)log p(b1 a1) + p(b2 a1)log p(b2 a1) +

p(b3	a1)log p(b3	a1)]+ p(a2 )[ p(b1	a2 )log p(b1	a2 ) +
p(b2	a2 )log p(b2	a2 ) + p(b3 a2 )log p(b3 a2 )]+
p(a3 )[ p(b1 a3 )log p(b1 a3 ) + p(b2			a3 )log p(b2	a3 ) +
p(b3	a3 )log p(b3	a3 )]} =

− p log p −2q log q +0 + q[0 +(1− pe )log(1− pe ) + pe log pe ]+ q[0 +(1− pe )log(1− pe ) + pe log pe ] =

{−p log p −2q log q + 2q[(1− pe )log(1− pe ) + pe log pe ]}. Обозначив β = −(1− pe )log(1− pe ) − pe log pe ,

получим

I(A; B) = (−p log p −2q log q −2qβ ) áèò/ñèì âî ë.

Ненадёжность равна разности между скоростью создания и скоростью передачи информации

H (A | B) = H (A) − I(A; B) = 2qβ áèò/ñèì âî ë.

Пример 4.1.2. Для канала из примера 4.1.1 вычислить пропускную способность в следующих случаях:

а) при произвольном шуме, б) при отсутствии шума,

в) при очень большом уровне шума.

Вероятности входных символов a2 и a3 должны быть рав-

ными.

Решение. а) Пропускная способность есть верхняя грань выражения (4.1.2) при дополнительном условии нормировки

∑p(a j ) = p + 2q =1.

j=1

Для определения верхней грани I(A;B) применим метод неопределённых множителей Лагранжа.

Образуем вспомогательную функцию

F = I(A; B) +λ( p + 2q) =

[−p log p −2q log q −2qβ +λ( p + 2q)].

Составляем систему уравнений:

dFdp = 0 и dFdq = 0 .

Система уравнений примет вид

	1)	dF	= −log2 p + λ −	1	= 0 ,
		dp		ln 2
					2
2)	dF	= −2log2 q − 2β + 2λ −				= 0 .
	dq				ln 2

Из системы уравнений находим p и q:

log p = λ −

p = 2λ−

ln 2

log q = −β + λ −

и q = 2λ−

2−β

ln 2

где обозначено α = 2β .

ln 2

Множитель λ

найдём из условия нормировки,

которому

должны удовлетворять искомые вероятности p и q:

p + 2q = 2λ−

+ 2 2

λ−

=1,

ln 2

2λ−

=1,

ln 2

откуда

p = 2λ−

и q =

ln 2

1+ 2 α

2 +α

Тогда пропускная способность канала

C = 1

[−p log p − 2q log q − 2qβ] =

log

−2β

−

2 +α

Произведя простейшие преобразования

C =

logα +

log(2 +α) +

−

+α

log(2 +α) −

2β

= 1

[log(2 +α) −

2 +α

logα −

2β

2 +α

и осуществив потенцирование, получим окончательно

C =		−	2β	−	α
C =	1 log2 (2 +α) 2		2+α α		2+α .
	τ

б) Рассмотрим частный случай, когда помехи в канале отсутствуют, следовательно, pe = 0 . При этом

β = −pe log pe − (1− pe )log(1− pe ) = 0,

α = 2β =1.

Априорные вероятности

1 .

p =

q =

2 +α

Пропускная способность максимальна и равна

max

1 log

что совпадает с формулой (4.1.1).

= 0,5 . При этом

в) Помехи значительны, так что

β = −pe log2

pe −(1− pe )log2 (1− pe ) =1 ,

α = 2 ,

p =

1 ,

2 +

2 +α

и пропускная способность равна

C =

log2 2

−

log2 2

бит

log2 4 −

Фактически канал стал двоичным,

так как символы a2 и

a3 неразличимы, и результат соответствует пропускной способности двоичного канала без помех.

Пример 4.1.3. Изображение с энтропией 5 107 бит переда-

ётся по линии связи. Определить чувствительность приёмного устройства, если на входе действует белый гауссовский шум со

спектральной плотностью N0 = 2 10−17 ВткГц. Полоса при-

ёмного устройства 100 кГц, время передачи Т=1 час.

Решение. Поскольку необходимо определить чувствительность, т.е. минимально возможное значение мощности сигнала на входе приёмного устройства, то радиолиния должна быть идеальной, т.е. скорость передачи информации должна быть равна пропускной способности канала

V =

H (A)

= C ,

где С определяется по формуле (4.1.3)

бит.

= ∆f log 1+

Pш

Скорость создания информации

Ht (A) = 5 107 3600 =1,4 104

бит/с.

Ht (A)

Так как

= ∆f =

∆f

log 1+

Ht ( A)

1,4 104

то

= 2

∆f −1 =

2 105

−1 = 0,1019 , и окончательно

Pc = 0,1019Pш = 0,1019 ∆fN0 =

0,1019 100 2 10−17

≈ 2 10−16 Вт.

ЗАДАЧИ

4.1.1. В информационном канале используется алфавит с четырьмя различными символами. Длительности всех символов

одинаковы и равны τ =1 мкс. Определить пропускную способ-

ность канала при отсутствии шумов.

4.1.2. Вычислить «ненадёжность» для канала, заданного матрицей

Смотрите также:


«ДОХОДЫ, РАСХОДЫ И ПРИБЫЛЬ КОММЕРЧЕСКОГО БАНКА.»
«ДОХОДЫ, РАСХОДЫ И ПРИБЫЛЬ КОММЕРЧЕСКОГО БАНКА.»
Значение, сущность и содержание социально — педагогической деятельности в организации для детей-сирот и детей, оставшихся без попечения родителей
Проактивные методы PR-деятельности российских авиационных компаний «Россия», «Азимут»
__RGR2
__RGR2
_10_Эмиль Золя для эл версии
_11_А. Франс для эл версии
_3 тема - Диффузия