Материал: 6593

Скачать файл

Заказать новую работу

Внимание! Если размещение файла нарушает Ваши авторские права, то обязательно сообщите нам

ных случайных величин.

1) Относительная энтропия может принимать любые значения (сравнить с (2.2.2))

−∞ < H (X )< ∞.

(3.2.5)

2) Свойство аддитивности.

Энтропия объединения двух непрерывных случайных величин

H (XY )= H (X )+ H (Y X )= H (Y )+ H (X Y ),

(3.2.6)

если X и Y статистически связаны между собой. Здесь обозначено

H (XY )= − ∞∫ ∞∫W (x, y)logW (x, y)dxdy.		(3.2.7)
−∞ −∞
Энтропия объединения двух независимых непрерывных
случайных величин равна сумме их энтропий
H (XY )= H (X )+ H (Y ).		(3.2.8)
3) Относительная условная энтропия не превышает без-
условной
H (X Y )≤ H (X ),	H (Y X )≤ H (Y ).	(3.2.9)

4) Свойство экстремальности энтропии.

Среди всех непрерывных случайных величин, удовлетво-

ряющих условиям:
а)	∞∫	ϕ(x )W (x )dx =θ,
	−∞	(3.2.10)

б) ∞∫W (x )dx =1 (условие нормировки),

−∞

наибольшей энтропией обладает случайная величина X, имеющая плотность вероятности

W	(	x	)	= exp λϕ	x	)	+λ	.	(3.2.11)
	(		)	1 (		)	2

Коэффициенты λ1 и λ2 выбираются так, чтобы функция W(x) удовлетворяла условиям а) и б).

РЕШЕНИЕ ТИПОВЫХ ПРИМЕРОВ Пример 3.2.1. Положительная непрерывная случайная ве-

личина X распределена по экспоненциальному закону с математическим ожиданием mх=3. Вычислить значение дифференциальной энтропии величины X.

Решение. Заданный закон распределения имеет вид

W (x)=	1			x
		exp	−		, x ≥ 0.
	mx
				mx

Дифференциальная энтропия непрерывной случайной величины X определяется формулой (3.2.1)

(

)

= M −logW

(

= M

−log

exp

−

)

log mx + log e M (X )= log mx

+ log e mx = log (emx ).

Подставляя mx = 3, получим

H (X )= log (2,7183 3)= 3,0277 áèò .

Пример 3.2.2. Среди всех случайных величин, которые могут принимать значения из интервала (а, в) и имеют следующие числовые характеристики:

∫b ψ1 (x)W (x)dx =θ1,	∫b ψ2 (x)W (x)dx =θ2 ,...,
à	à
∫b ψk (x)W (x)dx =θk ,
à

найти случайную величину X, обладающую наибольшей энтропией.

Решение. Поставленная задача состоит в определении плотности вероятности W(x), доставляющей наибольшее значение функционалу энтропии

H (X )= −∫b W (x)lnW (x)dx,

при указанных k условиях и условии нормировки

	73
(k +1)	∫b W (x)dx =1.
	a

Составляем вспомогательный функционал

k +1

F (X )= H (X )+∑λθi i ,

i=1

где λj – произвольные постоянные коэффициенты (неопределен-

k +1

ные множители Лагранжа). Так как сумма ∑λiθi есть по усло-

i =1

вию задачи величина постоянная, не зависящая от конкретного вида функции W(x), то плотность W(x), обеспечивающая максимум функционалу F(X), обеспечит также максимальное значение функционалу Н(Х).

Вспомогательный функционал с учетом выражений

(1) - (k+1) принимает вид

F (X )= b

(x) −lnW (x)+ k +1

λψ

(x) dx,

∫

∑

i i

i=1

где ψk +1 =1.

Воспользуемся очевидным соотношением

λψ

(x)

= ln exp λψ

(x)

i i

{

}

и получим

exp k +1

λψ

(x)

∑ i

F (X )= ∫W (x) ln

i=1

dx =

(x)

exp

k +1

λψ

(X )

∑ i

i=1

M ln

(X )

Далее пользуемся неравенством Иенсена (см. пример 1.4) и получаем

exp

k +1

λψ

(X )

∑ i

i=1

F (x)≤ ln M

(X )

exp

k +1 λψ

(x)

k +1

∑ i

(x) dx.

W (x)

i=1

dx =ln

exp

λψ

∫

∑

W (x)

i i

i=1

Правая часть этого неравенства есть постоянная, не зависящая от вида распределения W(x), поэтому наибольшее значение F(x) будет достигнуто для функции W(x), обращающей неравенство в равенство. Как следует из примера 1.4, неравенство Иенсена обращается в равенство только в том случае, когда

exp ∑k +1 λψi i (x)

i=1 ( ) = Ñ,

W x

где С – некоторая постоянная. Полагая С=1, получим

W(x)= exp ∑k +1 λψi i (x) .

i=1

Подставляя эту функцию в выражения (1) – (k+1) и решая систему k+l уравнений, можно найти конкретные значения ко-

эффициентов λ1,λ2 , ,λk +1.

Пример 3.2.3. Среди всех случайных величин, для которых задано математическое ожидание mх, а W(x)=0 при х<0, найти случайную величину X, обладающую наибольшей энтропией.

Решение. Задача состоит в нахождении плотности вероятности W(x), доставляющей максимум функционалу энтропии

H (X )= − ∞∫W (x)lnW (x)dx

−∞

при дополнительном условии

1) ∞∫xW (x)= mx (3.2.12)

иусловии нормировки

2)∞∫W (x)dx =1.

Имеем решение задачи вобщем виде (формула (3.2.11))

W (x)= exp λϕ1 (x)+λ2 .

Сравнивая выражения (3.2.10) и (3.2:12), убеждаемся, что ϕ(x )= x , и решение для данного случая примет вид

W (x)= exp[λ1x +λ2 ].

Значения коэффициентов λ1 и λ2 ищем, подставляя W(x) в условия (3.2.12). Получим систему уравнений с двумя неизвестными:

1)	∞∫xeλ1x+λ2 dx = mx ,					2)	∞∫eλ1x+λ2 dx =1.
	0						0
Решаем эту систему уравнений. Из уравнения 2)								находим
		eλ2 =				1	.
		eλ2 =		∞			.
					∫eλ1x dx
					0
Воспользуемся		табличным			интегралом вида			∞∫ecx dx = −	1	,
								0	c
где с<0. Тогда ∞∫eλ1x dx = −			1		и eλ2 = −λ1 .
где с<0. Тогда ∞∫eλ1x dx = −			λ1		и eλ2 = −λ1 .
	0		λ1
Подставляя eλ2		= −λ в уравнение 1) системы
		1

∞∫xeλ1x (−λ1 )dx = mx

и воспользовавшись табличным интегралом вида

Смотрите также:


«ДОХОДЫ, РАСХОДЫ И ПРИБЫЛЬ КОММЕРЧЕСКОГО БАНКА.»
«ДОХОДЫ, РАСХОДЫ И ПРИБЫЛЬ КОММЕРЧЕСКОГО БАНКА.»
Значение, сущность и содержание социально — педагогической деятельности в организации для детей-сирот и детей, оставшихся без попечения родителей
Проактивные методы PR-деятельности российских авиационных компаний «Россия», «Азимут»
__RGR2
__RGR2
_10_Эмиль Золя для эл версии
_11_А. Франс для эл версии
_3 тема - Диффузия