Замечание 24. Мы не только доказали сходимость, но и получили оценку для вероятности среднему арифметическому любого числа независимых и одинаково распреде-
ленных величин отличаться от E 1 более чем на заданное число: |
|
||||||||||||||||||||||||||||||
|
|
|
|
|
|
P |
1 |
+ |
n |
+ |
n |
E 1 |
> " |
6 n"2 |
: |
|
(24) |
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
D 1 |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Предлагаю, кроме того, читателям |
извлечь из |
неравенства (23) в доказательстве ЗБЧ |
|||||||||||||||||||||||||||||
Чебыш¸ва доказательство следующего утверждения. |
|
|
|
|
|
||||||||||||||||||||||||||
Следствие 18. |
Последовательность с. в. f igi1=1 с конечными вторыми моментами |
||||||||||||||||||||||||||||||
удовлетворяет ЗБЧ, то есть |
|
n |
|
|
n |
|
|
|
|
|
n |
|
|
! 0 |
ïðè n ! 1 |
||||||||||||||||
|
nn E |
nn = |
|
|
1 |
+ |
+ |
|
E |
1 |
+ |
|
n |
||||||||||||||||||
|
S |
|
S |
|
|
|
|
|
|
|
|
|
|
|
|
|
+ E |
p |
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
при выполнении любого из следующих условий: |
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
D Sn |
|
|
|
|
|
|
|
|
|
|
|||||
à) åñëè D Sn = o(n2), òî åñòü |
|
|
! 0 ïðè n ! 1; |
|
|
||||||||||||||||||||||||||
n2 |
|
|
|||||||||||||||||||||||||||||
á) åñëè 1; 2; : : : независимы и D Sn = D 1 + + D n = o(n2), òî åñòü |
|||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
D 1 + + D n |
|
! |
0 |
ïðè |
n |
! 1 |
; |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
n2 |
|
|
|
|
|
|
|
|
|
|
|
||||
â) åñëè 1; 2; : : : |
|
независимы, одинаково распределены и имеют конечную дис- |
|||||||||||||||||||||||||||||
|
|
персию (ЗБЧ Чебыш¸ва). |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
Скоро мы докажем (иными методами, чем А. Я. Хинчин) следующее утверждение.
Теорема 30 (ЗБЧ в форме Хинчина).
Для любой последовательности независимых и одинаково распределенных слу- чайных величин с конечным первым моментом E j 1j < 1 имеет место сходимость:
1 + + n |
p |
E : |
|
! |
|||
n |
1 |
Более того, в условиях теоремы 30 имеет место «почти наверное» сходимость ( 1 + + n)=n ê E 1. Но этого мы уже доказывать не будем.
Получим в качестве следствия из ЗБЧ Чебыш¸ва закон больших чисел Я. Бернулли (1713). В отличие от доказанного через полтора столетия ЗБЧ Чебыш¸ва, описывающего предельное поведение среднего арифметического с. в. с произвольными распределениями, ЗБЧ Бернулли — утверждение только для схемы Бернулли.
Теорема 31 (ЗБЧ Бернулли).
Пусть A — событие, которое может произойти в любом из n независимых испытаний с одной и той же вероятностью P(A). Пусть n(A) — число осу-
|
n(A) p |
|
ществлений события A â n испытаниях. Тогда |
|
! P(A). Ïðè ýòîì äëÿ |
n |
||
любого " > 0
|
|
n |
|
|
|
|
6 |
n"2 |
P |
|
n(A) |
|
P(A) |
|
> " |
|
P(A)(1 P(A)): |
|
|
|
|
|
|
|
|
|
75
Доказательство. Заметим, что n(A) есть сумма независимых, одинаково распределенных с. в., имеющих распределение Бернулли с параметром, равным вероятности успеха P(A) (индикаторов того, что в соответствующем испытании произошло A):
(
1; если A произошло в i м испытании;
0; если A не произошло в i м испытании;
E 1 = P(A); D 1 = P(A)(1 P(A)).
Осталось воспользоваться ЗБЧ в форме Чебыш¸ва и неравенством (24) из замечания
24.
Рассмотрим примеры использования ЗБЧ в форме Чебыш¸ва, вернее, неравенства (24).
13.4Примеры использования ЗБЧ и неравенства Чебыш¸ва
Пример 48. |
|
|
|
|
|
|
|
З а д а ч а. |
Монета подбрасывается 10 000 раз. |
Оценить вероятность того, что |
|||||
частота выпадения герба отличается от вероятности более чем на одну сотую. |
|||||||
Р е ш е н и е. |
Требуется оценить P n |
2 |
> 0;01 , ãäå n = 104, n = i=1 i — |
||||
|
n |
1 |
|
n |
|||
|
|
|
|
|
|
|
P |
число выпадений герба, а i — независимые |
ñ. â., |
имеющие распределение Бернулли с |
|||||
параметром 1/2, равные «числу гербов, выпавших |
при i-м подбрасывании» (то есть еди- |
||||||
нице, если выпал герб и нулю иначе, или индикатору того, что выпал герб). Поскольку
D 1 = 1=2 1=2 = 1=4, искомая оценка сверху выглядит так: |
10 4 |
= 4: |
|||||||||||
P |
nn |
2 |
> 0;01 |
6 n 0;012 |
= 4 104 |
|
|||||||
|
|
S |
|
1 |
|
|
|
D 1 |
1 |
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Иначе говоря, неравенство |
Чебыш¸ва |
позволяет заключить, что, в среднем, не более |
|||||||||||
чем в четверти случаев при 10 000 подбрасываниях монеты частота выпадения герба будет отличаться от 1/2 более чем на одну сотую. Мы увидим, насколько это грубая оценка, когда познакомимся с центральной предельной теоремой.
Пример 49.
З а д а ч а. Пусть 1; 2; : : : — последовательность случайных величин, дисперсии которых ограничены одной и той же постоянной C, а ковариации любых с. в. i èj (i 6= j), не являющихся соседними в последовательности, равны нулю. Удовлетворяет ли эта последовательность ЗБЧ?
Р е ш е н и е. Воспользуемся неравенством (23) и свойством 14:
P n E |
n > " |
|
D |
Sn |
|
|
|
|
|
|
|
|
|
|
|
n |
|
|
|
|
|||||||
6 |
|
|
= n2"2 ; |
|
|
D ( 1 + : : : + n) = |
D i |
+ 2 i<j cov( i; j): |
|||||||||||||||||||
"2 |
|
|
|
i=1 |
|||||||||||||||||||||||
|
Sn |
|
Sn |
|
|
|
|
n |
|
D Sn |
|
|
|
|
|
|
|
|
X |
|
|
|
X |
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Íî |
äëÿ |
i < |
j, ïî |
условию, |
|
i |
j |
) |
= 0, åñëè i |
6 |
j |
|
1. |
Следова- |
|||||||||||||
cov( ; |
= |
|
|||||||||||||||||||||||||
cov( 1; 2); cov( 2 |
; 3);P: :i<j: ; cov( ni 1;j n) (их ровно n 1 штука). |
кроме, |
может быть, |
||||||||||||||||||||||||
тельно, в |
сумме |
cov( ; ) |
равны нулю |
все слагаемые |
|||||||||||||||||||||||
Оценим каждое из них, используя одно из свойств коэффициента корреляции (ка- |
|||||||||||||||||||||||||||
кое?) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
cov( i; j) 6 p |
|
p |
|
6 p |
|
p |
|
= C; |
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
D i |
D j |
C |
C |
|
|
|
|
|
|||||||||||
76
так как для любого 1 6 i 6 n, по условию, D i 6 C. Èòàê,
|
|
|
|
|
|
|
|
|
|
|
n |
X |
|
|
|
|
|
|
|
|
|
|
|
|
X |
|
|
||
P |
nn |
E |
nn |
> " 6 n2"2 |
= |
|
D i |
+ 2 |
cov( i; j) |
|||||
|
i=1 |
n2"2 |
= |
|||||||||||
|
|
S |
|
|
S |
|
|
D Sn |
|
|
i<j |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
nn 1
XX
|
D i |
+ 2 |
cov( i; i+1) |
nC + 2(n 1)C |
|
|
|
= i=1 |
i=1 |
|
6 |
! |
0 |
||
|
|
n2"2 |
|
n2"2 |
|
||
при n ! 1, то есть последовательность 1; 2; : : : удовлетворяет ЗБЧ.
Упражнение 27.
Привести пример последовательности с. в. 1; 2; : : : такой, что ковариации «несоседних» величин равны нулю.
Привести пример последовательности с. в. 1; 2; : : : такой, что ковариации «несоседних» величин равны нулю, а ковариации соседних — не равны. Можно попробовать построить такую последовательность с помощью другой последовательности, составленной из независимых с. в.
77
... Из этой первой лекции по теории вероятностей я запомнил только полузнакомый термин «математическое ожидание». Незнакомец употреблял этот термин неоднократно, и каждый раз я представлял себе большое помещение, вроде зала ожидания, с кафельным полом, где сидят люди с портфелями и бюварами и, подбрасывая время от времени к потолку монетки и бутерброды, сосредоточенно чего-то ожидают. До сих пор я часто вижу это во сне. Но тут незнакомец оглушил меня звонким термином «предельная теорема Муавра — Лапласа» и сказал, что все это к делу не относится.
Аркадий и Борис Стругацкие, Стажеры
Раздел 14. ЦПТ (центральная предельная теорема)
14.1 Как быстро |
Sn |
сходится к E 1? |
|
n |
|||
|
|
Пусть, как в законе больших чисел в форме Чебыш¸ва, Sn = 1 + : : : + n — сумма n независимых и одинаково распределенных величин с конечной дисперсией. Тогда, в
Sn |
p |
|
|
|
|
|
ñèëó ÇÁ×, |
|
! E 1 |
с ростом n. Или, после приведения к общему знаменателю, |
|||
n |
||||||
|
|
|
|
Sn n E 1 |
p |
0: |
|
|
|
|
! |
||
|
|
|
|
n |
||
|
|
|
|
|
||
Если при делении на n мы получили в пределе нуль (в смысле некоторой, все равно какой, сходимости), резонно задать себе вопрос: а не слишком ли на «много» мы поделили? Нельзя ли поделить на что-нибудь, растущее к бесконечности медленнее, чем n, чтобы получить в пределе не нуль (и не бесконечность, само собой)?
Можно поставить этот вопрос по-другому. Вот последовательность, стремящаяся (как-то) к нулю. Можно ли ее домножить на что-либо растущее, чтобы «погасить» это стремление к нулю? Получив, тем самым, что-нибудь конечное и отличное от нуля в
пределе? |
|
|
|
|
|
|
|
|
|
pn |
|
|
n |
||||
Оказывается, что уже |
Sn n E 1 |
, или, что то же самое, pn |
|
Sn n E 1 |
, не сходится к |
|||
|
|
|
|
|
||||
нулю. Распределение этой, зависящей от n, случайной величины становится все более похоже на нормальное распределение! Можно считать, что такая последовательность сходится к случайной величине, имеющей нормальное распределение, но сходится не по вероятности, а только в смысле сходимости распределений, или «слабой сходимости».
14.2Слабая сходимость
Пусть задана последовательность с. в. f ng, задано некоторое распределение F с функцией распределения F и — произвольная с. в., имеющая распределение F.
Определение 52. Говорят, что последовательность с. в. f ng ïðè n ! 1 сходится слабо èëè по распределению к с. в. , или говорят, что последовательность с. в.
слабо сходится к распределению F, или говорят, что распределения с. в. f ng слабо сходятся к распределению F, и пишут: n ) , èëè F n ) F , èëè n ) F, если для любого x такого, что функция распределения F непрерывна в точке x, имеет место сходимость F n (x) ! F (x) ïðè n ! 1.
Иначе говоря, слабая сходимость — это поточечная сходимость функций распределения во всех точках непрерывности предельной функции распределения.
78
Необходимо заметить, что запись « n ) » удобна, но не всегда разумна: если «предельную» с. в. заменить на другую с. в. с тем же распределением, ничего не изменится: в том же смысле n ) . Поэтому слабая сходимость все же не есть сходимость случайных величин, и ей нельзя оперировать как сходимостями п.н. и по вероятности, для которых предельная с.в. единственна (хотя бы с точностью до значений на множестве нулевой вероятности).
Следующее свойство очевидно. Если нет - вам нужно вернуться к разделу 7 и вспомнить, что такое функция распределения.
Свойство 18. Åñëè n ) , и функция распределения F непрерывна в точках a è b, òî P( n 2 [a; b]) ! P( 2 [a; b]) и т.д. (продолжить ряд). Наоборот, если во всех точках a è b непрерывности функции распределения F имеет место, например, сходимость
P( n 2 [a; b]) ! P( 2 [a; b]), òî n ) .
Следующее важное свойство уточняет отношения между сходимостями.
Свойство 19.
p |
p |
1. Åñëè n ! , òî n ) . |
2. Åñëè n ) c = const, òî n ! c. |
Доказательство. Первое свойство мы доказывать не будем.
Докажем, что слабая сходимость к постояннной влечет сходимость по вероятности. Пусть
(
0; x 6 c;
F n (x) ! Fc(x) =
1; x > c
при любом x, являющемся точкой непрерывности предельной функции Fc(x), òî åñòü ïðè âñåõ x 6= c.
Возьмем произвольное " > 0 и докажем, что P(j n cj 6 ") ! 1. Раскроем модуль:
P( " 6 n c 6 ") = P(c " 6 n 6 c + ") >
(сужаем событие под знаком вероятности)
> P(c " 6 n < c + ") = F n (c + ") F n (c ") ! Fc(c + ") Fc(c ") = 1 0 = 1;
поскольку в точках c " функция Fc непрерывна, и, следовательно, имеет место сходимость последовательности F n (c ") ê Fc(c ").
Осталось заметить, что P(j n cj 6 ") не бывает больше 1, так что по лемме о двух милиционерах P(j n cj 6 ") ! 1.
Следующее свойство приводит пример операций, которые можно применять к слабо сходящимся последовательностям — скажем, домножать их на последовательности, сходящиеся по вероятности к постоянным величинам.
Желание написать «если n ) и n ) , то n + n ) + » сразу проходит, стоит перевести это «свойство» на язык функций распределения и задуматься — что такое «функция распределения суммы + », когда вместо них можно брать любые другие
~и с теми же распределениями, как угодно зависимые. Иное дело — когда одно из
~
предельных распределений вырождено. В этом случае функция распределения суммы или произведения определена однозначно.
Свойство 20.
p
1. Åñëè n ! c = const è n ) , òî n n ) c .
p
2. Åñëè n ! c = const è n ) , òî n + n ) c + .
Доказательство. Заметим прежде всего, что если n ) , òî c n ) c , c + n ) c + (доказать!). Поэтому (и в силу соответствующих свойств сходимости по вероятности)
79