14. Обработка статистических данных. Профильный уровень

Генеральная совокупность, выборка, репрезентативность. Дискретный и интервальный ряды распределения

Мы привыкли к тому, что приходим в магазин и там почти всегда есть нужный нам продукт, например, кефир. А даже если нет, то буквально на следующий день его привезут. Но как посчитать, сколько кефира нужно заказать? Если слишком много, то он испортится — это убыток. Если слишком мало, то это недополученная прибыль. При этом очевидно, что предсказать поведение каждого человека по отдельности невозможно. Кому-то захотелось купить кефир именно сегодня, а кто-то из постоянных покупателей уехал в командировку. Как же быть? Конечно, такие вопросы решают не только продуктовые магазины. Какое минимальное количество станций скорой помощи или травмпунктов нужно построить в городе? Какое количество людей нужно опросить, чтобы получить объективный срез мнений жителей города или страны? На эти и другие вопросы помогает ответить статистика — математическая наука о сборе и обработке информации, которая появляется в результате массовых и случайных явлений.

Представьте, что вы торгуете мороженым. Сколько вам необходимо взять на складе порций на день? Это явно будет зависеть от прогноза погоды. Какова вероятность солнечного жаркого дня или же будет дождь? Но ведь каждый человек принимает решение о покупке спонтанно и каждый день покупают мороженое разные люди. Неужели никакого прогноза по спросу сделать нельзя? На самом деле можно. Для этого в статистике есть специальный инструмент. Один из наиболее важных — закон больших чисел. На бытовом уровне его можно описать следующим образом: несмотря на случайность исхода одного или нескольких событий, при большом количестве таких событий результат будет стремится к математическому ожиданию. Скажем, если бросать монетку, то во время первых бросков могут наблюдаться разные закономерности: несколько орлов подряд, большее количество орлов, чем решек и т.д. Но если мы будем бросать монетку много раз, то количество выпадения орлов и решек будет близко к соотношению один к одному.

Теперь становится понятно, почему возможно прогнозировать спрос на мороженое, кефир в магазине или количество переломов зимой, чтобы вычислить необходимое количество травмпунктов и врачей в них. Каждый день покупают мороженое или ломают ногу разные люди, по разным причинам и в разных ситуациях. Но при этом, в среднем, в большом городе их количество будет прогнозируемым. Понятно, что есть внешние факторы. Например, в гололёд количество переломов растёт, в жаркий день мороженого продаётся больше. Но всё равно, при прочих равных в два жарких дня среднее количество проданного мороженого будет прогнозируемым.

Закон больших чисел может объяснить то, почему многие люди стремятся в города, а не остаются в деревнях — процесс урбанизации.

Это связано с тем, что в большом городе меньше влияния случайностей, а значит более прогнозируемые процессы и меньше риски. Скажем, если в магазине каждый день покупают тысячу бутылок кефира, то остаток в пять или десять бутылок из-за неравномерного спроса — это небольшие потери и незначительные риски. А если в магазине покупают десять бутылок, то лишние пять бутылок — это серьёзная потеря. Это касается всего. Если у вас редкое увлечение, то велика вероятность что в большом городе найдётся ещё какое-то количество человек с таким же увлечением и вы сможете найти единомышленников. В маленьком городе или в деревне вы с большой вероятностью можете оказаться один на один со своими интересами.

Итак, какие же инструменты использует статистика для анализа больших данных. Всё множество объектов, которое изучает исследователь называется генеральной совокупностью. Множество учеников класса, население страны могут быть примерами таких генеральных совокупностей. С небольшой генеральной совокупностью исследователь может работать целиком, но чаще всего генеральная совокупность очень велика и привести измерения для каждого объекта не удаётся. Представьте себе большую партию каких-то товаров, например, конфет. Как проверить качество? Если взять слишком много, вряд ли получится, да и долго, и убыточно. Если одну или две, то велика вероятность что пропустишь некачественный товар. Необходима выборочная проверка, но для неё нужно чётко определить то количество объектов, анализ которых даёт преставление о состоянии всей выборки. Так поступают и при социологических исследованиях. Как узнать предпочтения граждан страны? Всех не опросить. Нужно ограничится относительно небольшим количеством — несколькими тысячами. Но важно учитывать репрезентативность, то есть выборка должна действительно представлять всё население страны.

Например, в ней должно быть пропорционально общему соотношению мужчин и женщин, соответствующее распределение по возрасту, социальному статусу и так далее. Игнорирование репрезентативности сводит на нет результаты исследований. Так, если исследуется предпочтения населения по книжным носителям — бумажный, электронная книга или смартфон — то опрос людей только старшего возраста приведёт к результатам, отличным от предпочтений людей в целом ведь, скорее всего, большинство из них выберет привычные бумажные носители, что явно не отражает полной картины для генеральной совокупности.

Коротко такие ошибки можно выразить известным мемом: «Интернет-опрос показал, что 100% людей пользуются интернетом». Итак, выборочная совокупность должна быть генеральной или в миниатюре. Все важные характеристики, имеющие возможное влияние на результат, должны быть учтены. Какие характеристики важны, а какие нет при подборе выборочной совокупности зависит от темы исследования в первую очередь. Например, если вы исследуете книжные носители, то, наверное, цвет волос исследуемых неважен. Если же вы исследуете рынок краски для волос, то цвет волос становится важной характеристикой. Нельзя в выборочную совокупность включить только людей со светлыми волосами, а выводы распространить на всё население. После того как исследователь определился с выборочной совокупностью, он собирает данные. Либо он сам проводит измерения, либо он берёт данные из каких-то других источников. Собранные данные заносятся в таблицу, которая называется вариационным рядом. Смысл у неё очень близкий к закону распределения случайной величины. В одну строку пишется значения измеряемой характеристики, обычно упорядоченные по возрастанию, от меньшего к большему, а во вторую — частоты или относительные частоты. Бывает так, что характеристика x принимает конечное количество определённых значений. Например, учитель математики посчитал общее количество оценок в журнале в одном классе. Каждое значение величины x называют вариантой.

— варианта

Оценка принимает значения — 2, 3, 4 и 5, то есть всего четыре варианты. Всего двоек было двенадцать, троек сорок две, четвёрок пятьдесят три и пятёрок восемнадцать. Количество каждой варианты и есть её частота.

— количество каждой варианты, частота

Чтобы посчитать долю каждой варианты в общей совокупности сложим все частоты.

. Получили, что всего в журнале 125 оценок. Тогда двоек, то есть  от общего количества. Такая величина называется относительной частотой.

— относительная частота

Нетрудно вычислить остальные относительные частоты:

.

Понятно, что относительная частота — понятие очень близкое к вероятности. Сумма относительных частот для всех вариант равна единице. Но, всё-таки, это не одно и то же. Вероятность рассчитывается теоретически, средние частоты — на основе наблюдений. Если вы два раза посчитаете вероятность в одном и том же опыте, то вы получите тождественный результат. Если вы проведёте два раза измерения и вычислите средние, то они, скорее всего, будут отличаться. Чем больше измерений вы проведёте, тем ближе будут средние к расчётным вероятностям — уже упомянутый нами закон больших чисел.

Часто, исследуемая величина принимает так много различных значений, что удобнее рассматривать не конкретные величины, а интервалы значений. Если измерить рост всех учеников в школе, например, тысячу человек, очень точно, до десятых миллиметра, то мы получим тысячу различных значений. Частота каждой варианты равна 1, а относительная частота — 0,001. В таком случае эти измерения объединяют в интервалы и строят интервальный вариационный ряд. Длины интервала могут быть различными, в зависимости от поставленной задачи. Например, если в исследовании школьников наименьший рост был не ниже 145 см, а наибольший не выше 185 см, то удобно объединить данные в восемь интервалов длиной по 5 см. Частоты — это количество попаданий в интервал, а относительный частоты считаются по абсолютным, точно так же, как и в дискретном вариационном ряду.

Центральные характеристики. Средняя, мода, медиана

Один из самых первых вопросов, который возникает при анализе полученных данных — это каково среднее значение наблюдаемой величины. Для этого есть несколько показателей, называемых центральными характеристиками. Одна из них нам уже хорошо знакома — это среднее арифметическое, в статистике называемая простая средняя. Вычисляется по известной нам формуле: сумма всех вариант, делённая на количество всех элементов выборки. Так как каждая варианта может появляться несколько раз, то вместо того, чтобы складывать одну и ту же варианту несколько раз её просто умножают на частоту. Если в каждом слагаемом мы раздели частоту на величину совокупности, то получим относительную частоту. Таким образом, среднюю можно считать, как сумму произведений вариант на их относительные частоты. Стандартное обозначение для средней — черта сверху.

— среднее арифметическое (простая средняя)

Если вариационный ряд является интервальным, то в качестве вариант берут середины интервалов. Рассчитаем среднюю для задачи со школьными оценками. Можно считать вручную, но при обработке большого количества данных это не очень удобно, поэтому воспользуемся электронными таблицами. В таблице с данными добавим столбец «сумма».

Просуммируем частоты — получили 125 — это объём выборки, то есть сколько всего было оценок в журнале.

Разделим все частоты на их сумму, получим относительные частоты. Они у нас уже были, но вычислим их ещё раз. Просуммируем относительные частоты, получили единицу, так и должно быть.

Добавим строку произведения вариант на их относительную частоту и просуммируем. Получили примерно 3,6 — это и есть средняя.

Рассчитаем среднюю для задачи с ростом школьников. Расположим таблицу вертикально, левые и правые края интервалов запишем по разным столбцам.

Запишем значения частот для каждого интервала и просуммируем их — получили 1000. Именно у тысячи школьников был измерен рост, то есть тысяча — это размер выборки.

Посчитаем середины интервалов и возьмём их в качестве вариант — столбец .

Найдём относительные частоты и занесём их в отдельный столбец. Просуммируем, получили единицу, всё хорошо.

Перемножим варианты с относительными частотами и просуммируем. Полученное значение 163,69 и есть искомая средняя.

Средняя является важной центральной характеристикой, но для некоторых задач она плохо подходит. Вместе со средней в статистике рассматривают ещё две центральные характеристики — моду и медиану. Мода — это варианта, которая встречается чаще всего, то есть у моды самая большая частота. Медиана — это варианта, которая делит упорядоченный по возрастанию ряд пополам. Иногда все три центральные характеристики близки друг другу, но иногда они сильно могут различаться. Рассмотрим простейший пример. Вычислим все три центральные характеристики для следующего ряда: 1, 1, 1, 2, 3, 3, 5, 6, 100.

Единица встречается чаще всего — это и есть мода.

Медиана — это варианта, делящая ряд пополам. Длина ряда девять, в центре находится число 3 — это и есть медиана.

Сложим все числа и поделим на 9.

Получили среднюю, примерно равную 13,6. Такая большая она получается в результате аномально большой последней варианты — 100. Как видите, все три характеристики могут сильно отличаться друг от друга.

Мода хороша тем, что её удобно использовать для данных нечисловой природы. Если покупают чаще всего белые костюмы, то мода на белые костюмы. Медиана хороша тем, что, в отличие от средней, слабо зависит от существенных отклонений величины, вроде тех, что были в примере. Средняя хороша тем, что является приближением математического ожидания и очень удобна для теоретических расчётов.

Показатели вариации: размах, среднее линейное отклонение, генеральная и выборочная дисперсии

Кроме центральных характеристик исследователя интересует насколько близко к средним ложатся варианты или иначе насколько велик разброс. Для этого рассматривают показатели вариации. Первый, самый простой показатель, размах вариации. Он равен разности самого большого и самого малого значения из совокупности.

— размах вариации

Разность между конкретным значением и средним, называется отклонением от средней

— отклонение от средней

Если теперь сложить все такие отклонения, то отклонения разных знаков начнут компенсировать друг друга, поэтому их берут по модулю и складывают. После этого делят на размер совокупности. Полученная величина называется средним линейным отклонением.

— среднее линейное отклонение

Но чтобы избежать сложения величин с разными знаками, намного чаще применяют другой подход. Вместо того, чтобы считать среднее арифметическое абсолютных отклонений, считают среднее арифметическое их квадратов. С такой величиной мы уже сталкивались, она называется дисперсией.

— дисперсия

Чтобы вернуться к исходной размерности из дисперсии извлекают корень квадратный и получают среднеквадратичное отклонение.

— среднеквадратичное отклонение

Как мы знаем из урока про неравенства о средних (Средние. Неравенства между средними. Профильный уровень) среднеквадратичное отклонение будет больше, чем обычное среднее арифметическое.

Вычислим все эти показатели вариации для задачи с ростом школьников.

Размах вариации — самое большое значение минус самое меньшее значение. У нас с вами интервальный ряд и мы не видим точных значений. Что мы знаем, так это то, что наибольшее значение лежит в последнем интервале, а наименьшее в первом. Следовательно, размах вариации не меньше, чем 30, но не больше 40.

Имея в наличии первичные данные, то есть рост всех тысячи школьников, мы можем получить точное значение размаха вариации.

Далее вычислим среднее линейное отклонение. Сделаем столбец «варианта минус средняя». В электронных таблицах непросто ставить чёрточки над символами, поэтому напишем . Далее сделаем столбец с модулями этих величин. Далее их нужно умножить на частоты, сложить и поделить на размер выборки. Вместо этого можно сразу умножать на относительные частоты и складывать. Получили среднее линейное отклонение около 6.

Вычислим, наконец, дисперсию и среднее квадратичное отклонение. Сделаем столбец с квадратами линейных отклонений, умножим их на относительные частоты (ещё один столбец) и просуммируем — получили дисперсию, примерно 56 квадратных сантиметров.

Тут же извлечём из неё корень квадратный, получим среднеквадратичное отклонение, примерно равное 7,5 сантиметрам. Как и предсказывали, оно должно быть больше среднего линейного отклонения.

Статистические оценки и доверительные интервалы

Для генеральной совокупности, то есть для всего множества интересующего исследователя объектов можно рассчитать основные рассмотренные нами характеристики, которые так и называются — генеральная средняя, генеральная дисперсия, генеральное среднее квадратичное отклонение. Но, чтобы это сделать, нужно иметь всю эту генеральную совокупность в распоряжении. Но, обычно, это или очень затруднительно, или вовсе невозможно в случае бесконечной генеральной совокупности. Обычно, в распоряжении оказывается репрезентативная выборка, для которой тоже вычисляют те же самые характеристики. Они так и называются — выборочная средняя, выборочная дисперсия, выборочное среднеквадратичное отклонение. Пусть мы рассчитали некий выборочный параметр a, например среднюю или дисперсию. Он не равен в точности соответственному генеральному параметруA, а является его приближением или, как говорят, точечной оценкой. Чем больше будет выборка, тем ближе будет эта точечная оценка к истинному значению генерального параметра. Но наличие такой точечной оценки никак не помогает нам понять, насколько мы близки к генеральному параметру.

Например, мы измерили температуру в печи пять раз. Получили среднюю в .

Измерения мы можем проводить неограниченное число раз, то есть генеральная совокупность бесконечна.

Её среднюю, то есть генеральную среднюю разумно считать за истинную температуру печи. Но насколько наша выборочная средняя близка к генеральной средней? На интуитивном уровня понятно, что если значения всех пяти измерений были близки к выборочной средней, то доверие к такой точечной оценке истинной температуры будет высоким. Если же все пять измерений различались, скажем размах выборки был , то верить полученной средней не очень хочется.

Для указания близости выборочного параметра к генеральному поступают следующим образом. Вокруг точечной оценки , строят интервал, куда должны попасть значения генерального параметра .

Говорить о том, попадает генеральный параметр в этот интервал или нет можно только с некоторой вероятностью. Понятно, что чем больше интервал, тем больше вероятность попасть в него. Но высокая вероятность сама по себе ценностью не является. Например, если для температуры печи указать интервал от  до , то вероятность попасть в него близка к единице.

Но, понятно, что такая оценка никому не интересна. Нужно сужать интервал. При этом, интервал с очень низкой вероятностью, тоже никому не интересен. Например, мы укажем, что истинная температура попадает в интервал вблизи , но вероятность этого всего 20%.

Таким образом, задача в том, чтобы максимально сузить интервал, но так, чтобы вероятность попадания в него истинного значения осталась на приемлемом для нас уровне. Интервал называют доверительным интервалом, а вероятность попадания в него генерального параметра — доверительной вероятностью или надёжностью.

— доверительный интервал

— надёжность (доверительная вероятность)

Необходимая надёжность выбирается исследователем из поставленной задачи. Очень часто в исследованиях используют надёжность 95%.

Итак, исследователь поступает следующим образом. Выбирает доверительную вероятность, то есть надёжность оценки. Например, 95%. Вычисляет интересующий его выборочный параметр. Например, выборочную среднюю. После этого, на основе размера выборки и дисперсии, вычисляет по специальным формулам, а чаще с помощью специальных статистических программ, доверительный интервал. С вычислением доверительных интервалов вы обязательно столкнётесь в университете на специальностях, связанных с математикой и статистикой.

Статистические гипотезы

Когда исследователь изучил выборку из генеральной совокупности, посчитал параметры этой выборки, то у него возникают некоторые гипотезы о том, как устроена генеральная совокупность. Гипотезы выдвигают о законе распределения, например, на основании изучения роста одиннадцатиклассников в одной школе делается гипотеза, что рост всех одиннадцатиклассников распределён по нормальному закону.

Такие гипотезы выдвигаются и о характеристиках генеральной совокупности. Например, что средний рост одиннадцатиклассника равен 164 см.

Исследование проходит по следующей схеме.

1. На основании изучения выборки исследователь формирует основную гипотезу . Например, рост 11-классников распределён по нормальному закону.

2. Исследователь формирует альтернативную, конкурирующую гипотезу . Например, рост 11-классников не подчиняется нормальному распределению.

3. Так как основная гипотеза была сформулирована на основе выборки, а не всей генеральной совокупности, то она может быть верной или неверной. И исследователь приступает к её проверке с помощью статистических критериев. По результатам проверки исследователь или принимает основную гипотезу, или отвергает её в пользу альтернативной.

Мы не будем с вами разбирать как непосредственно устроены критерии, а поговорим о типах ошибок, которые могут быть допущены и их вероятностях.

Ошибка первого рода. Она заключается в том, что основная гипотеза  была верной, но мы её ошибочно отвергли. Вероятность такой ошибки обозначается буквой «» и называется уровнем значимости.

— уровень значимости

Ошибка второго рода. Она устроена прямо противоположно. Основная гипотеза  была неверной, но мы её приняли как истинную. Вероятность такой ошибки обозначают буквой «». Величину «» называют мощностью критерия.

— мощность критерия

Уровень значимости критерия задаёт сам исследователь. Обычно они принимают такие значения: ,,. Кажется, что чем меньше , тем лучше, то есть нужно уменьшать вероятность отвергнуть правильную гипотезу. Но это всегда приводит к тому, что растёт вероятность принять неверную, то есть уменьшается мощность критерия. То есть уменьшая вероятность ошибки одного рода мы всегда увеличиваем вероятность ошибки другого рода. В разных ситуациях более критичной может быть или одна, или другая ошибка.

Например, среди населения проводится исследование на некое серьёзное заболевание. Если основная гипотеза, что человек болен окажется верной, а мы эту гипотезу отвергнем, посчитаем его здоровым, то это будет иметь серьёзные последствия. Это ошибка первого рода. Если же основная гипотеза не верна, человек здоров, а мы посчитаем его больным и отправим на дальнейшее обследование, то последствия будут намного легче, потерянное время и средства. Это ошибка второго рода. В данном случае лучше всего избежать именно ошибок первого рода, то есть увеличивать уровень значимости.

Другой пример. Вы настраиваете спам-фильтр в почте. Если фильтр не распознал спам и пропустил, для вас это письмо, то больших неприятностей не произойдёт. Это ошибка первого рода. Но, как часто бывает, важное письмо попадает в спам и это оказывается очень неприятно. Это ошибка второго рода. В данном примере, получается, что важнее мощность критерия. Таким образом, выбор между значимостью и мощностью критерия определяется самой задачей.

Наш урок можно назвать экскурсией в мир статистики. После него вы должны прочитав, или увидев какое-то исследование понять, о каких величинах идёт речь, на какой выборке было проведено исследование и насколько она репрезентативна. Что означает значимость, с которой была принята гипотеза. Ну, а если вы займётесь изучением статистики в университете, то сможете самостоятельно проводить такие исследования, собирая данные или используя готовые.

Список литературы

1. Алимов Ш. А., Колягин Ю. М., Ткачёва М. В. и др. Алгебра и начала математического анализа (базовый и углублённый уровни). 10-11 класс. АО \"Издательство «Просвещение\". 2017-2021 г. Глава XIII.

2. Тюрин Ю. Н. и др. Теория вероятностей и статистика / Ю. Н. Тюрин, А. А. Макаров, И. Р. Высоцкий, И. В. Ященко. – М.: МЦНМО: АО \"Московские учебники\", 2004. -256с.: ил. Глава III.

    

Домашнее задание

1. Ученики девятых классов сдавали предметный тест, за который максимально можно было получить 100 баллов. После проверки тестов была составлена таблица. Чему равен средний балл учащихся девятых классов? (Округлить до целых)

1. Взвесили пять яблок и получили выборку: 153 г, 175 г, 203 г, 158 г, 216 г. Найдите среднее линейное отклонение данной выборки.

2. В результате исследований получили интервальный вариационный ряд. Найдите разность среднеквадратичного и среднего линейного отклонений. При вычислениях округляйте до сотых.