Закон больших чисел история

Часть 1. Фундамент прикладной статистики

1.4.1. Законы больших чисел

Законы больших чисел позволяют описать поведение сумм случайных величин. Примером является следующий результат, обобщающий полученный ранее в подразделе 1.2.2. Там было доказано следующее утверждение.

Теорема Чебышёва. Пусть случайные величины Х1, Х2,…, Хk попарно независимы и существует число С такое, что D(Xi) 0,

(3)

С точки зрения прикладной статистики ограниченность дисперсий вполне естественна. Она вытекает, например, из ограниченности диапазона изменения практически всех величин, используемых при реальных расчетах.

В 1923 г. А.Я. Хинчин показал, что если случайные величины не только независимы, но и одинаково распределены, то существование у них математического ожидания является необходимым и достаточным условием для применимости закона больших чисел [2, с.150].

Теорема [2, с.150-151]. Для того чтобы для последовательности Х1, Х2,…, Хk ,…(как угодно зависимых) случайных величин при любом положительном ε выполнялось соотношение (3), необходимо и достаточно, чтобы при n → ∞

Законы больших чисел для случайных величин служат основой для аналогичных утверждений для случайных элементов в пространствах более сложной природы. В частности, в пространствах произвольной природы (см. подраздел 2.1.5 далее). Однако здесь мы ограничимся классическими формулировками, служащими основой для современной прикладной статистики.

Смысл классических законов больших чисел состоит в том, что выборочное среднее арифметическое независимых одинаково распределенных случайных величин приближается (сходится ) к математическому ожиданию этих величин. Другими словами, выборочные средние сходятся к теоретическому среднему.

Это утверждение справедливо и для других видов средних. Например, выборочная медиана сходится к теоретической медиане. Это утверждение – тоже закон больших чисел, но не классический.

Существенным продвижением в теории вероятностей во второй половине ХХ в. явилось введение средних величин в пространствах произвольной природы и получение для них законов больших чисел, т.е. утверждений, состоящих в том, что эмпирические (т.е. выборочные )средние сходятся к теоретическим средним. Эти результаты будут рассмотрены в подразделе 2.1.5 ниже.

www.aup.ru

Закон больших чисел история

Основными понятиями теории вероятностей являются понятия случайного события и случайной величины. При этом предсказать заранее результат испытания, в котором может появиться или не появиться то или иное событие или какое-либо определенное значение случайной величины, невозможно, так как исход испытания зависит от многих случайных причин, не поддающихся учету.

Однако при неоднократном повторении испытаний наблюдаются закономерности, свойственные массовым случайным явлениям. Эти закономерности обладают свойством устойчивости. Суть этого свойства состоит в том, что конкретные особенности каждого отдельного случайного явления почти не сказываются на среднем результате большой массы подобных явлений, а характеристики случайных событий и случайных величин, наблюдаемых в испытаниях, при неограниченном увеличении числа испытаний становятся практически не случайными.

Пусть производится большая серия однотипных опытов. Исход каждого отдельного опыта является случайным, неопределенным. Однако, несмотря на это, средний результат всей серии опытов утрачивает случайный характер, становится закономерным.

Для практики очень важно знание условий, при выполнении которых совокупное действие очень многих случайных причин приводит к результату, почти не зависящему от случая, так как позволяет предвидеть ход явлений. Эти условия и указываются в теоремах, носящих общее название закона больших чисел.

Под законом больших чисел не следует понимать какой-то один общий закон, связанный с большими числами. Закон больших чисел — это обобщенное название нескольких теорем, из которых следует, что при неограниченном увеличении числа испытаний средние величины стремятся к некоторым постоянным.

К ним относятся теоремы Чебышева и Бернулли. Теорема Чебышева является наиболее общим законом больших чисел, теорема Бернулли — простейшим.

В основе доказательства теорем, объединенных термином «закон больших чисел», лежит неравенство Чебышева, по которому устанавливается вероятность отклонения от ее математического ожидания:

Пример 81. Устройство состоит из 100 независимо работающих элементов. Вероятность отказа каждого элемента за время равна 0,03. Оценить вероятность того, что абсолютная величина разности между числом (математическом ожиданием) отказов за время окажется: а) меньше двух; б) не меньше двух.

Решение. а). Обозначим через число отказавших элементов за время . Тогда [] = np = 100 ? 0,03 = 3 и [] = npq = 100 ? 0,03 ? 0,97 = 2,91 (см. пример ). Воспользуемся неравенством Чебышева:

подставив в него [] = 3, [] = 2,91, = 2, получим

б). События и противоположны, поэтому сумма их вероятностей равна единице. Следовательно,

Пример 82. Оценить вероятность события [] 0?

168. Каждая из 1000 независимых случайных величин имеет дисперсию, равную 4, а математические ожидания их одинаковы. Оцените вероятность того, что среднее арифметическое случайных величин отклонится от математического ожидания по абсолютной величине не более чем на 0,1.

III 169. Применима ли к последовательности случайных величин , , . , . имеющих равномерное распределение в промежутке ][, теорема Чебышева?

170. Пусть > 0 — неубывающая функция. Доказать, что если существует [ ([]], то

cito-web.yspu.org

Закон больших чисел

Почему выборка обеспечивает почти столь же надежные результаты, что и сплошное обследование? Потому что общая закономерность, которой подчиняется исследуемое явление, хорошо обнаруживается и в небольшом количестве данных по сравнению со всем объемом имеющихся сведений, если они получены посредством случайного отбора. В этом проявляется действие так называемого закона больших чисел, на котором основан выборочный метод.

Проиллюстрируем действие закона больших чисел на следующем примере. Во время одного социологического исследования определенный вопрос был задан сначала 500 человекам. На этот вопрос отрицательно ответило 54.9% опрошенных. Затем опросили еще 1000 человек, и отрицательный ответ социологи получили от 53.9% всех опрошенных, затем — еще 5 тыс. человек, результат почти тот же — 55.4%. Наконец, когда опросили 30 тыс. человек, то отрицательный ответ дали 55.5% всех опрошенных. Отсюда видно — для того чтобы узнать, что примерно 54-56% всех людей по данному вопросу настроено отрицательно, не нужно опрашивать всех людей или 30 тыс. человек, а можно ограничиться 500 человеками.

Следует иметь в виду, что закон больших чисел действует лишь в массовых процессах, в которых каждый отдельно взятый элемент является случайной величиной. Этот элемент — не только результат действия общей закономерности, он также результат влияния множества факторов, не зависящих от этой закономерности. Отсюда выборочный метод, основанный на законе больших чисел, нельзя применять для исследования отдельных объектов, отдельных оригинальных явлений, его можно использовать лишь для изучения массовых процессов, которое опирается на массовое наблюдение фактов.

По материалам книги «Историк и математика» Б.Н. Миронов, З.В. Степанов

www.patiks.ru

Закон больших чисел

Материал из MachineLearning.

До указанного срока статья не должна редактироваться другими участниками проекта MachineLearning.ru. По его окончании любой участник вправе исправить данную статью по своему усмотрению и удалить данное предупреждение, выводимое с помощью шаблона <<Задание>>.

См. также методические указания по использованию Ресурса MachineLearning.ru в учебном процессе.

Закон больших чисел в теории вероятностей утверждает, что эмпирическое среднее (среднее арифметическое) конечной выборки из фиксированного распределения близко к теоретическому среднему (математическому ожиданию) этого распределения. В зависимости от вида сходимости различают слабый закон больших чисел, когда имеет место сходимость по вероятности, и усиленный закон больших чисел, когда имеет место сходимость почти всюду.

Всегда найдётся такое количество испытаний, при котором с любой заданной наперёд вероятностью частота появления некоторого события будет сколь угодно мало отличаться от его вероятности.

Слабый закон больших чисел

Пусть есть бесконечная последовательность одинаково распределённых и некоррелированных случайных величин , определённых на одном вероятностном пространстве . То есть их ковариация . Пусть . Обозначим выборочное среднее первых членов:

Усиленный закон больших чисел

Пусть есть бесконечная последовательность независимых одинаково распределённых случайных величин , определённых на одном вероятностном пространстве . Пусть . Обозначим выборочное среднее первых членов:

www.machinelearning.ru

5. Закон больших чисел. Центральная предельная теорема

Определение 1. Последовательность случайных величин Хь Х2. сходится почти наверное к случайной величине X (limrt_oo Х„ = X п. н.), если при каждой случайной реализации и> числовая последовательность Х\(и>), Х2<и>). сходится к числу хм.1

‘В общепринятом определении требуется, чтобы сходимость имела место ие для каждой случайной реализации о», а для всех w из множества полной вероятности. Однако определение этого понятия потребовало бы изложения более общей математической теории меры.

Определение 2. Последовательность случайных величин Xi, Х2,-.. сходится к случайной величине X по вероятности (pliDin^oo Хп = X, р = probability), если

lim Р(|ЛГП — Х\ > є) = О

для любого Є > 0.

Определение 3. Последовательность случайных величин Хі, Хг. имеющих функции распределения Fi(ar),/^(а:). сходится по распределению к случайной величине X с функцией распределения F(x), (dlimn_oo Хп = X) или Хп X

Можно показать, что из сходимости почти наверное следует сходимость по вероятности, а из сходимости по вероятности следует сходимость по распределению. Кроме того, доказывается, что из последовательности, сходящейся по вероятности, можно извлечь подпоследовательность, сходящуюся почти наверное. Приведем достаточно простую, но важную теорему.

Неравенство Чебышева. Пусть X — неотрицательная случайная величина. Тогда для любого числа с > 0 справедливо неравенство

Действительно, предполагая для простоты, что у случайной величины X есть плотность распределения р(а:), имеем

Е(Х) = / xp(x)dx^ / xp(x)dx^c р(х) dx ^ сР(Х ^ с),

что эквивалентно (МС.11).

Р(|У — Е(У)| > є) ^ —рР- (МС.12)

Действительно, полагая в (МС.11) X = (У — Е(У))2, с = є2 имеем:

Р(|У — ЕУ| > є) = Р((У — ЕУ)2 > є2) ^

Пусть Xi,X2, ? ?. — последовательность независимых одинаково распределенных случайных величин, E(Xi) = m, V(Xj) = о2. Обозначим

Закон больших чисел в форме Чебышева. Имеет место равенство

plim —Sn = m. п—оо П

В самом деле, из свойств Е1) и (МС.8) следует, что

Е(-5n) = т, V(isn) = —. Поэтому, полагая в (МС.12) \п ) \п ) п

У = — 5„, получаем: п

Р| — т > є | ^ —> 0 при п —* оо \п \ J пє2

С помощью более сложных рассуждений можно установить более общий результат.

Усиленный закон больших чисел. Имеет место равенство

Введем случайную величину

Нетрудно проверить, что Е(ГП) = 0, V(Tn) = 1. Справедлив следующий фундаментальный результат.

Центральная предельная теорема. Последовательность Т\, ТІ, . сходится по распределению к стандартной нормальной

knigi.link

Это интересно:

  • Замечания экспертизы Кто проходит экспертизу проекта заказчик или проектировщик Проект в экспертизу подает заказчик. Проектировщики осуществляют только техническую поддержку. Архитектор, управление проектами. Дело не в […]
  • Уменьшить налог по енвд ЕНВД: уменьшение на страховые взносы 2017 Актуально на: 4 августа 2017 г. По общему правилу плательщик ЕНВД может уменьшить сумму исчисленного налога на уплаченные страховые взносы. А на сколько можно уменьшить ЕНВД страховыми […]
  • Правила хорошего доклада Правила хорошего доклада ПИШЕМ ДОКЛАД Доклад есть достаточно неизученная, но довольно часто встречающаяся работа в учебных заведениях. Различают устный и письменный доклад (по содержанию близкий к реферату). Доклад — вид […]
  • Органы опеки г Рязань Органы опеки и попечительства Рязанской области Адрес: 391660, Рязанская обл., п. Ермишь, пл. Ленина, 58 телефон: (49144) 2 11 85 Захаровский район Адрес: 391080, Рязанская обл., п. Захарово, ул. Центральная, 88 телефон: (49153) […]
  • Закон о норме гто Обязательно или нет сдавать нормы ГТО 2018? В последнее время многие граждане РФ пытаются выяснить, обязательны или нет нормы ГТО. Люди разделились на два лагеря и придерживаются противоположных мнений. Давайте разберёмся. Участие […]
  • Сайт оформить пропуск в зону ато через интернет 20 минутУкраина Главная страница За всё время Наука и Техника Происшествия Технологии Обзор прессы Обзор соцсетей Обзор блогов Обзор видео Новости регионов Днепропетровск Украина-Россия Рейтинги Украины Надежда […]