Закон больших чисел

Нельзя заранее уверенно предвидеть, какое возможное значение примет случайная величина, но если говорить о сумме большого числа случайных величин, то поведение таковой утрачивает случайный характер и становится закономерным.

Условия, при которых сумма большого числа случайных величин утрачивает случайный характер, описаны в теоремах, носящих общее название «Закон больших чисел». В настоящем курсе нами будут рассмотрены две основные теоремы закона больших чисел – теоремы Чебышева (наиболее общий закон больших чисел) и Бернулли (простейший закон больших чисел).

7.1. Неравенство Чебышева

Неравенство Чебышева справедливо и для дискретных, и для непрерывных случайных величин. Рассмотрим доказательство этого неравенства для дискретных случайных величин.

Рассмотрим дискретную случайную величину , заданную таблицей распределения:

Поставим перед собой задачу оценить вероятность того, что отклонение случайной величины от ее математического ожидания не превышает по абсолютной величине положительного числа . Если  достаточно мало, то мы оценим, таким образом, вероятность того, что  примет значения, достаточно близкие к своему математическому ожиданию. П. Л. Чебышев доказал неравенство, позволяющее дать интересующую нас оценку.

Неравенство Чебышева. Вероятность того, что отклонение случайной величины  от ее математического ожидания по абсолютной величине меньше положительного числа , не меньше, чем :

Доказательство. Так как события, состоящие в осуществлении неравенств  и , противоположны, то сумма их вероятностей равна единице, т.е.

Отсюда интересующая нас вероятность

Таким образом, задача сводится к вычислению вероятности .

Напишем выражение дисперсии случайной величины :

Очевидно, все слагаемые этой суммы неотрицательны.

Отбросим те слагаемые, у которых  (для оставшихся слагаемых ), вследствие чего сумма может только уменьшиться. Условимся считать для определенности, что отброшено  первых слагаемых (не нарушая общности, можно считать, что в таблице распределения возможные значения занумерованы именно в таком порядке). Таким образом,

Заметим, что обе части неравенства  () положительны, поэтому, возведя их в квадрат, получим равносильное неравенство . Воспользуемся этим замечанием и, заменяя в оставшейся сумме каждый из множителей  числом  (при этом неравенство может лишь усилиться), получим

По теореме сложения, сумма вероятностей  есть вероятность того, что  примет одно, безразлично какое, из значений , а при любом из них отклонение удовлетворяет неравенству . Отсюда следует, что сумма  выражает вероятность

Это соображение позволяет переписать неравенство (7.2) так:

или

Подставляя (7.3) в (7.1), окончательно получим

что и требовалось доказать.

Замечание. Неравенство Чебышева имеет для практики ограниченное значение, поскольку часто дает грубую, а иногда и тривиальную (не представляющую интереса) оценку. Например, если  и, следовательно, , то ; таким образом, в этом случае неравенство Чебышева указывает лишь на то, что вероятность отклонения неотрицательна, а это и без того очевидно, так как любая вероятность выражается неотрицательным числом.

Теоретическое же значение неравенства Чебышева весьма велико. Ниже мы воспользуемся этим неравенством для вывода теоремы Чебышева.

7.2. Теорема Чебышева

Теорема Чебышева. Если  — попарно независимые случайные величины, причем дисперсии их равномерно ограничены (не превышают постоянного числа ), то, как бы мало ни было положительное число , вероятность неравенства

будет как угодно близка к единице, если число случайных величин достаточно велико.

Другими словами, в условиях теоремы

Таким образом, теорема Чебышева утверждает, что если рассматривается достаточно большое число независимых случайных величин, имеющих ограниченные дисперсии, то почти достоверным можно считать событие, состоящее в том, что отклонение среднего арифметического случайных величин от среднего арифметического их математических ожиданий будет по абсолютной величине сколь угодно малым.

Доказательство. Введем в рассмотрение новую случайную величину — среднее арифметическое случайных величин

Найдем математическое ожидание . Пользуясь свойствами математического ожидания (постоянный множитель можно вынести за знак математического ожидания, математическое ожидание суммы равно сумме математических ожиданий слагаемых), получим

Применяя к величине  неравенство Чебышева, имеем

или, учитывая соотношение (7.4),

Пользуясь свойствами дисперсии (постоянный множитель можно вынести за знак дисперсии, возведя его в квадрат; дисперсия суммы независимых случайных величин равна сумме дисперсий слагаемых), получим

По условию дисперсии всех случайных величин ограничены постоянным числом , т.е. имеют место неравенства:

поэтому

Итак,

Подставляя правую часть (7.5) в неравенство (7.4) (отчего последнее может быть лишь усилено), имеем

Отсюда, переходя к пределу при , получим

Наконец, учитывая, что вероятность не может превышать единицу, окончательно можем написать

Теорема доказана.

Выше, формулируя теорему Чебышева, мы предполагали, что случайные величины имеют различные математические ожидания. На практике часто бывает, что случайные величины имеют одно и то же математическое ожидание. Очевидно, что если вновь допустить, что дисперсии этих величин ограничены, то к ним будет применима теорема Чебышева.

Обозначим математическое ожидание каждой из случайных величин через ; в рассматриваемом случае среднее арифметическое математических ожиданий, как легко видеть, также равно . Мы можем сформулировать теорему Чебышева для рассматриваемого частного случая.

Если  — попарно независимые случайные величины, имеющие одно и то же математическое ожидание , и если дисперсии этих величин равномерно ограничены, то, как бы мало ни было число , вероятность неравенства

будет как угодно близка к единице, если число случайных величин достаточно велико.

Другими словами, в условиях теоремы будет иметь место равенство

7.3. Сущность теоремы Чебышева

Сущность доказанной теоремы такова: хотя отдельные независимые случайные величины могут принимать значения, далекие от своих математических ожиданий, среднее арифметическое достаточно большого числа случайных величин с большой вероятностью принимает значения, близкие к определенному постоянному числу, а именно к числу

(или к числу  в частном случае). Иными словами, отдельные случайные величины могут иметь значительный разброс, а их среднее арифметическое рассеянно мало.

Таким образом, нельзя уверенно предсказать, какое возможное значение примет каждая из случайных величин, но можно предвидеть, какое значение примет их среднее арифметическое.

Итак, среднее арифметическое достаточно большого числа независимых случайных величин (дисперсии которых равномерно ограничены) утрачивает характер случайной величины. Объясняется это тем, что отклонения каждой из величин от своих математических ожиданий могут быть как положительными, так и отрицательными, а в среднем арифметическом они взаимно погашаются.

Теорема Чебышева справедлива не только для дискретных, но и для непрерывных случайных величин.

7.4. Значение теоремы Чебышева для практики

Приведем примеры применения теоремы Чебышева к решению практических задач.

Обычно для измерения некоторой физической величины производят несколько измерений и их среднее арифметическое принимают в качестве искомого размера. При каких условиях этот способ измерения можно считать правильным? Ответ на этот вопрос дает теорема Чебышева (ее частный случай).

Действительно, рассмотрим результаты каждого измерения как случайные величины . К этим величинам можно применить теорему Чебышева, если: 1) они попарно независимы, 2) имеют одно и то же математическое ожидание, 3) дисперсии их равномерно ограничены.

Первое требование выполняется, если результат каждого измерения не зависит от результатов остальных. Второе требование выполняется, если измерения произведены без систематических (одного знака) ошибок. В этом случае математические ожидания всех случайных величин одинаковы и равны истинному размеру . Третье требование выполняется, если прибор обеспечивает определенную точность измерений. Хотя при этом результаты отдельных измерений различны, но рассеяние их ограничено.

Если все указанные требования выполнены, мы вправе применить к результатам измерений теорему Чебышева: при достаточно большом  вероятность неравенства

как угодно близка к единице. Другими словами, при достаточно большом числе измерений почти достоверно, что их среднее арифметическое как угодно мало отличается от истинного значения измеряемой величины.

Итак, теорема Чебышева указывает условия, при которых описанный способ измерения может быть применен. Однако, ошибочно думать, что, увеличивая число измерений, можно достичь сколь угодно большой точности. Дело в том, что сам прибор дает показания лишь с точностью ; поэтому каждый из результатов измерений, а следовательно, и их среднее арифметическое будут получены лишь с точностью, не превышающей точности прибора.

На теореме Чебышева основан широко применяемый в статистике выборочный метод, суть которого состоит в том, что по сравнительно небольшой случайной выборке судят о всей совокупности (генеральной совокупности) исследуемых объектов. Например, о качестве кипы хлопка заключают по небольшому пучку, состоящему из волокон, наудачу отобранных из разных мест кипы. Хотя число волокон в пучке значительно меньше, чем в кипе, сам пучок содержит достаточно большое количество волокон, исчисляемое сотнями.

В качестве другого примера можно указать на определение качества зерна по небольшой его пробе. И в этом случае число наудачу отобранных зерен мало сравнительно со всей массой зерна, но само по себе оно достаточно велико.

Уже из приведенных примеров можно заключить, что для практики теорема Чебышева имеет неоценимое значение.

7.5. Теорема Бернулли

Пусть производится  независимых испытаний, в каждом из которых вероятность появления события  равна . Можно ли предвидеть, какова примерно будет относительная частота появлений события? Положительный ответ на этот вопрос дает теорема, доказанная Якобом Бернулли (опубликована в 1713 г.), которая получила название «закона больших чисел» и положила начало теории вероятностей как науке. Доказательство Бернулли было сложным; простое доказательство дано П.Л. Чебышевым в 1846 г.

Теорема Бернулли. Если в каждом из  независимых испытаний вероятность  появления события  постоянна, то как угодно близка к единице вероятность того, что отклонение относительной частоты от вероятности  по абсолютной величине будет сколь угодно малым, если число испытаний достаточно велико.

Другими словами, если  — сколь угодно малое положительное число, то при соблюдении условий теоремы имеет место равенство

Доказательство. Обозначим через  дискретную случайную величину — число появлений события в первом испытании, через  — во втором, ...,  — в -м испытании. Ясно, что каждая из величин может принять лишь два значения: 1 (событие  наступило) с вероятностью  и 0 (событие не появилось) с вероятностью .

Можно ли применить к рассматриваемым величинам теорему Чебышева? Можно, если случайные величины попарно независимы и дисперсии их ограничены. Оба условия выполняются Действительно, попарная независимость величин  следует из того, что испытания независимы. Дисперсия любой величины  равна произведению ; так как , то произведение  не превышает 1/4[1] и, следовательно, дисперсии всех величин ограничены, например, числом .

Применяя теорему Чебышева (частный случай) к рассматриваемым величинам, имеем

Приняв во внимание, что математическое ожидание  каждой из величин  (т.е. математическое ожидание числа появлений события в одном испытании) равно вероятности  наступления события, получим

Остается показать, что дробь

равна относительной частоте  появлений события  в испытаниях. Действительно, каждая из величин  при появлении события в соответствующем испытании принимает значение, равное единице; следовательно, сумма  равна числу  появлений события в  испытаниях, а значит,

Учитывая это равенство, окончательно получим

Замечание. Было бы неправильным на основании теоремы Бернулли сделать вывод, что с ростом числа испытаний относительная частота неуклонно стремится к вероятности ; другими словами, из теоремы Бернулли не вытекает равенство . В теореме речь идет лишь о вероятности того, что при достаточно большом числе испытаний относительная частота будет как угодно мало отличаться от постоянной вероятности появления события в каждом испытании.

Таким образом, сходимость относительной частоты  к вероятности  отличается от сходимости в смысле обычного анализа. Для того чтобы подчеркнуть это различие, вводят понятие «сходимости по вероятности»[2]. Точнее, различие между указанными видами сходимости состоит в следующем: если  стремится при  к  как пределу в смысле обычного анализа, то начиная с некоторого  и для всех последующих значений  неуклонно выполняется неравенство ; если же  стремится по вероятности к  при , то для отдельных значений  неравенство может не выполняться.

Итак, теорема Бернулли утверждает, что при  относительная частота стремится по вероятности к . Коротко теорему Бернулли записывают так:

Как видим, теорема Бернулли объясняет, почему относительная частота при достаточно большом числе испытаний обладает свойством устойчивости и оправдывает статистическое определение вероятности.

Задачи

1. Сформулировать и записать теорему Чебышева, используя понятие «сходимости по вероятности».

2. Используя неравенство Чебышева, оценить вероятность того, что , если .

Отв. .

3. Дано: . Используя неравенство Чебышева, найти .