Анализ параметров генеральной совокупности
Проблема соотношения выборки и генеральной совокупности.
Проблемы применения математической статистики для решения интересующих нас задач начинаются с обоснования возможности использования выборочных частот в качестве хороших оценок генеральных вероятностей. Некоторые обстоятельства заставляют настороженно относиться к этому. Рассмотрим эти обстоятельства подробнее.
1) На практике нередко нарушаются условия вероятностного порождения данных.
В социологии само определение вероятности в некоторых ситуациях может стать бессмысленным в силу ряда причин. Как правило, бывает неясно, каков тот комплекс условий, повторение которого требуется для соответствующего осмысления.
2) Отнюдь не всегда бывает ясно, какова изучаемая генеральная совокупность
Для того чтобы как-то отделить использование математико-статистических методов в описанных ситуациях (являющееся некорректным) от их классического воплощения, для обозначения интересующих нас псевдостатистических подходов и был предложен термин «анализ данных». Это – первая причина появления этого термина.
Социолог имеет в своем распоряжении всего одну выборку, при том такую, принципы соотнесения которой с генеральной совокупностью часто бывают неясными.
Более того, социолог далеко не всегда уверен в том, что исследуемое им множество объектов вообще является выборкой из какой бы то ни было генеральной совокупности.
Более того, проблема определения генеральной совокупности может стать задачей или даже целью исследования. Иначе говоря, это проблема методологического, а вовсе не методико-математического характера.
Методы поиска закономерностей «в среднем» в подобной ситуации нельзя отнести к области математической статистики, даже если внешне они схожи с известными математико-статистическими алгоритмами. Использование этих методов в указанной ситуации было отнесено к области анализа данных. Это – вторая причина появления этого термина.
3) Для многих методов отсутствуют разработанные способы перенесения результатов их применения с выборки на генеральную совокупность.
Методы переноса результатов с выборки на генеральную совокупность обычно базируются на довольно серьезных теоретических результатах. Соответствующая теория не разработана для очень многих методов, интересующих социолога (например, для многих методов классификации).
Из такого положения имеется два выхода.
Во-первых, можно положиться на интуицию исследователя и считать, что результаты справедливы для некой интуитивным образом понимаемой генеральной совокупности.
Во-вторых, приложив определенные усилия, связанные с активным использованием ЭВМ, требующиеся оценки можно получить эмпирическим путем.
4) Перенос результатов с выборки на генеральную совокупность может быть затруднен из-за осуществления «ремонта» выборки (например, ее перевзвешивания), что нередко делает социолог. Тут тоже может помочь моделирование случайных данных на ЭВМ.
Методы, для которых отсутствует строгий механизм переноса результатов с выборки на генеральную совокупность, тоже были отнесены к области анализа данных. Это – третья причина возникновения этого термина.
Общее понятие оценивания и примеры оценок.
Числовые характеристики, описывающие генеральную совокупность, называются параметрами. Те же самые характеристики, но рассчитанные для выборки, называются статистиками. Таким образом, статистический вывод – это утверждение о параметрах генеральной совокупности на основании изучения статистики. Такие утверждения носят вероятностный характер и подразделяются на три вида: статистическое оценивание точечное, статистическое оценивание интервальное и проверка гипотез.
Статистическое оценивание заключается в том, что исследователь ищет по выборке показатель, наиболее близкий к исследуемому параметру, или интервал в котором с большой вероятностью лежит этот параметр.
Под оценкой понимается любое число, рассчитанное по выборке и характеризующее параметр.
Точечная и интервальная оценка параметра генеральной совокупности.
Предположим, что по выборке нужно найти не интервал, в котором находится параметр, а одно число которое ближе всего к параметру. Под оценкой понимается любое число, рассчитанное по выборке и характеризующее параметр.
Свойства точечной оценки:
Несмещенность – среднее выборочного распределения оценки равно величине параметра.
Состоятельность – при увеличении объема выборки оценка приближается к значения измеряемого параметра.
Эффективность – чем ниже дисперсия, т.е. чем меньше отличаются оценки, полученные в разных выборках, тем выше эффективность.
Интервальная оценка
Интервальная оценка включает в себя два компонента:
1. Определить какой статистикой необходимо пользоваться и найти соответствующую таблицу.
2. Задавшись некоторой доверительной вероятностью, по выбранной таблице для заданной вероятности определить такое Дельта, чтобы в пределах Альфа +- дельта лежало 95% площади кривой.
3. Из ген совокупности извлекается случайная выборка и вычисляется значение статистики А. таким образом А +- Дельта и есть искомый 95%-й доверительный интервал.
Понятие доверительного интервала и его составляющие.
Доверительный интервал для среднего значения определяется по формуле
Оценка доли признака в генеральной совокупности по выборочным данным.
Объем выборки зависит от:
Желаемой точности наших отношений,
Какие группы собираемся репрезентировать
Сводка необходимых формул для простой случайной выборки. В рассмотренном гипотетическом примере легко было оценить качество выборочной оценки среднего (перед глазами была информация обо всей генеральной совокупности). Но как провести его оценку в реальном исследовании, когда имеется только информация, полученная из выборки?
На помощь приходит статистическая теория выборочного метода Она позволяет при условии реализации случайного отбора достичь по крайней мере следующих двух целей:
1. По заданной априори необходимой степени точности выводов (формализуемой с помощью понятия доверительной вероятности) найти, возможные интервалы, изменения характеристик генеральной совокупности (доверительные интервалы). И наоборот, рассчитать доверительную вероятность отклонения характеристики генеральной совокупности от выборочной по заданной величине доверительного интервала.
2. Найти объем планируемой выборки, позволяющей достигнуть в пределах требуемой точности расчета выборочных характеристик необходимую доверительную вероятность.
Расчет доверительного интервала для среднего значения.
Доверительный интервал для среднего значения определяется по формуле
Объем и ошибка выборки.
Систематические и случайные ошибки статистического наблюдения. При получении социальной информации выборочным методом могут возникать ошибки различного рода. Причинами могут быть неточность данных, сообщенных социологу респондентом, неправильная фиксация получаемых сведений или неправильное измерение переменных, характеризующих единицы наблюдения, и т. д. Эти ошибки, называемые иногда ошибками регистрации, могут быть разделены на два типа: случайные и систематические.
Систематической ошибкой регистрации называется ошибка, выражающая некоторые существенные связи, возникающие в процессе регистрации между объектом, субъектом и условиями проведения наблюдения. Систематическая ошибка может быть значительной по своей, величине из-за одностороннего искажения (в сторону увеличения или уменьшения) исследуемой характеристики. Происходящее вследствие этого накопление ошибки по исследуемой совокупности в целом может зачеркнуть результаты всего исследования.
Систематическая ошибка регистрации может возникнуть при любом типе статистического наблюдения, в том числе и при проведении выборочного или сплошного обследования.
Характерным примером систематической ошибки являются данные о женатых мужчинах и замужних женщинах во Всесоюзной переписи 1970 г. По результатам переписи в целом по Союзу .оказалось 53,0 млн. женатых мужчин и 54,2 млн. замужних женщин. Систематическая ошибка, зафиксированная в этой, переписи, образовалась из-за погрешностей в ответах, возникающих от различной оценки своего семейного положения мужчинами я женщинами.
Случайные ошибки регистрации отражают менее существенные связи между объектом, субъектом и условиями регистрации и складываются из различные статистических погрешностей в процессе наблюдения. Погрешности, имея различную направленность в отдельных единицах наблюдения, проявляют тенденцию к взаимному погашению при обобщении результатов .регистрации по всей исследуемой совокупности.
Таким образом, в отличие от систематической случайная ошибка вызывается при наблюдении причинами, носящими вероятностный характер.
Типичные ошибки выборочного социологического исследования. Ошибки регистрации встречаются при любом типе статистического наблюдения и, следовательно, свойственны и выборочному методу исследования.
Кроме того, в выборочном исследовании могут появиться ошибки, возникающие при различных отклонениях от планируемой выборки. Можно выделить два наиболее типичных вида отклонения от плана выборки.
1. Замена намеченных при планировании выборки единиц наблюдения другими, более доступными, которые, однако, оказываются неполноценными с точки зрения выработанного плана выборки.
Такого рода ошибки могут возникать при использовании- недостаточно квалифицированных интервьюеров. Например, опрос планируется провести в каждой десятой квартире жилого массива. Никого не застав в выбранных квартирах, интервьюер иногда обращается в соседние квартиры и берет интервью. В итоге в выборке оказывается значительная доля пенсионеров, больших по размеру семей и слабо представлены одинокие лица и малочисленные семьи. Ошибок этого типа (ошибок подстановки) можно избежать, контролируя деятельность анкетеров и интервьюеров и качество собранной ими информации. В противном случае они могут привести к серьезным систематическим ошибкам.
2. Неполный охват выборочной совокупности, т. е. неполучение информации от части единиц наблюдения, включенных в выборку (например, недополучение почтовых анкет, не полностью заполненные анкеты).
Эти ошибки устанавливаются путем сравнения реально сформированной выборки с ее планом. Ошибки подобного рода снимаются так называемой процедурой корректировки выборки, т. е. путем специального пересчета значений изучаемого признака с учетом того, какая именно часть выборочной совокупности выпала из обследования.
Распространенными ошибками в выборочном социологическом исследовании являются ошибки, возникающие при неправильной разработке плана выборки. Только правильно намеченный и, конечно, реализованный план формирования выборочной совокупности может дать определенные гарантии, для распространения выводов, полученных по выборке, на всю генеральную совокупность.
Во многих книгах в качестве примера смещения, возникающего из-за неправильного планирования выборки, приводится известный опрос, проведенный Литэрари Дайджест (Литературное обозрение) относительно исхода президентских выборов 1936 г. в США.
Кандидатами на этих выборах были Ф. Д. Рузвельт и А. М. Лан-дон. Редакция журнала организовала план выборки следующим образом. В выборку попали более двух миллионов американцев, выбранных при помощи случайного отбора из списков, имеющихся в телефонных книгах. По всей стране попавшим в выборку лицам были разосланы открытки с просьбой назвать фамилию будущего президента. Затратив огромную сумму на рассылку, сбор и обработку полученных открыток, журнал информировал общественность, что на предстоящих выборах президентом США с большим перевесом будет избран А. М. Ландон. Результаты выборов опровергли этот прогноз.
В то же время социологи Д. Гэллап и Э. Роупер правильно предсказали победу Ф. Д. Рузвельта, основываясь только на четырех тысячах анкет.
Ошибочный прогноз относительно возможного президента объясняется неправильным планом выборки, который не обеспечил полного отражения в ней всей генеральной совокупности: в телефонных книгах, которые использовались для организации выборки, были представлены лишь наиболее обеспеченные слои американского населения, в частности домовладельцы. Поскольку обеспеченные слои американцев составляют меньшую часть генеральной совокупности, то распространение мнения этой части населения на всю страну в целом оказалось ошибочным.
Ошибки часто возникают и в тех случаях, когда в выборочную совокупность преимущественно попадают представители одинаковых социальных групп. Так, почтовые анкеты чаще заполняют лица с более высоким уровнем образования, причем мужчины чаще, чем женщины, пенсионеры чаще, чем работающие и т. д.
Социолог самое пристальное внимание должен уделять анализу возможностей возникновения ошибок смещения в выборочных социологических исследованиях.
Репрезентативность выборки. Выборка в определенном смысле должна быть моделью генеральной совокупности, что и позволяет на ее основе оценивать характеристики этой совокупности. Однако нет необходимости моделировать в выборке все аспекты генеральной совокупности, достаточно лишь значимых с точки зрения задач исследования. Свойство выборки отражать, моделировать эти характеристики будем называть репрезентативностью.
Основной принцип построения выборки (точнее, вероятностного отбора) состоит в том, чтобы обеспечить всем элементам генеральной совокупности равные шансы попасть в выборку. Однако даже самое аккуратное соблюдение этого принципа не гарантирует выборку от искажений. Эти искажения — случайные ошибки — внутренне присущи выборочному методу. Они появляются в результате .того, что обследуются не все единицы совокупности, а только выборка, и, следовательно, результат будет неточен, так как единицы совокупности не тождественны между собой. Значение случайной ошибки можно сравнительно легко вычислить, используя аппарат, разработанный в статистической теории выборочного метода. Таким образом, репрезентативность выборки будет определяться двумя компонентами: ошибками регистрации и случайными ошибками.
В идеальной ситуации в сплошном исследовании отсутствуют ошибки репрезентативности, благодаря чему при правильной организации наблюдения ошибка выборочного исследования больше ошибки наблюдения при сплошном обследовании. Однако в социологии применение сплошного обследования требует значительного числа анкетеров и интервьюеров, а это ведет к тому, что иногда привлекаются недостаточно квалифицированные кадры, участие которых в исследовании увеличивает ошибку регистрации. И наоборот, применение выборочного исследования при решении, тех же вопросов позволяет использовать более подготовленные кадры специалистов, обеспечить лучший их инструктаж, контроль за его выполнением. Это ведет к уменьшению ошибки регистрации. И если случайная ошибка не велика, то ошибка выборочного наблюдения в целом может оказаться меньше ошибки сплошного исследования. Таким образом, при определенных условиях выборочный метод оказывается более точным, чем сплошной, что еще раз подчеркивает его преимущество при организации и проведении эмпирических социологических исследований.
Источник
Оценка параметров генеральной совокупности по ее выборке
Предположим, что генеральная совокупность является нормальным распределением (здесь вместо вероятности следует использовать относительную частоту). Нормальное распределение полностью определено математическим ожиданием (средним значением) и средним квадратическим отклонением. Поэтому если по выборке можно оценить, т. е. приближенно найти, эти параметры, то будет решена одна из задач математической статистики — определение параметров большого массива по исследованию его части.
Как и для выборки, для генеральной совокупности можно определить генеральную среднюю хr — среднее арифметическое значение всех величин, составляющих эту совокупность. Учитывая большой объем этой совокупности, можно полагать, что генеральная средняя равна математическому ожиданию:
где X — общая запись случайной величины (значения изучаемого признака) генеральной совокупности.
Рассеяние значений изучаемого признака генеральной совокупности от их генеральной средней оценивают генеральной дисперсией
(N — объем генеральной совокупности) или генеральным средним квадратическим отклонением
Точечная оценка.Предположим, что из генеральной совокупности производятся разные выборки; делают это так, чтобы вся генеральная совокупность сохранялась неизменной. Для определенности будем считать объемы этих выборок одинаковыми и равными п. Их выборочные средние х1, х2, . xi., . являются случайными величинами, которые распределены по нормальному закону (см. конец § 2.3), а их математическое ожидание равно математическому ожиданию генеральной совокупности, т. е.генеральной средней:
На практике иногда при достаточно большой выборке за генеральную среднюю приближенно принимают выборочную среднюю. Для дисперсий положение получается несколько иным. Математическое ожидание дисперсий различных выборок [M(Dвi)], составленных из генеральной совокупности, отличается от генеральной дисперсии:
Прибольшом п получаем
Длягенерального среднего квадратического отклонения соответственно из (3.14) и (3.14а) получаем:
На практике иногда при достаточно большой выборке выборочное среднее квадратическое отклонение приближенно принимают за генеральное среднее квадратическое отклонение. Так, если считать, что статистическое распределение (см. табл. 5) является выборкой из некоторой генеральной совокупности, то на основании (3.6) и (3.9) можно заключить, что для этой генеральной совокупности xr ≈ 3,468 кг и σг ≈ 0,3896 кг.
Такого рода оценка параметров генеральной совокупности или каких-либо измерений определенными числами называется точечной оценкой.
Интервальная оценка генеральной средней.Точечная оценка, особенно при малой выборке, может значительно отличаться от истинных параметров генеральной совокупности. Поэтому при небольшом объеме выборки пользуются интервальными оценками.
В этом случае указывается интервал (доверительный интервал, или доверительные границы), в котором с определенной (доверительной) вероятностью р находится генеральная средняя.
Иначе говоря, р определяет вероятность, с которой осуществляются следующие неравенства:
зуя функцию (3.18). Пределы интегрирования необходимо взять из выражения (3.19):
где положительное число е характеризует точность оценки.
Кроме доверительной вероятности используют «противоположное» понятие — уровень значимости
который выражает вероятность непопадания генеральной средней в доверительный интервал.
Доверительную вероятность не следует выбирать слишком маленькой (не следует ее обесценивать). Наиболее часто р принимают равной 0,95; 0,99; 0,999. Чем больше р, тем шире интервал, т. е. тем больше е. Чтобы установить количественную связь между этими величинами, необходимо найти выражение для доверительной вероятности. Это можно сделать, используя (2.17), однако нужно понять, что при этом следует взять за функцию распределения вероятностей и какие принять пределы интегрирования. Рассмотрим этот вопрос.
Итак, генеральная совокупность распределена по нормальному закону с математическим ожиданием (средним значением) хГ и дисперсией DT. Если из этой генеральной совокупности брать разные выборки с одинаковым объемом п, то можно для каждой выборки получить среднее значение хв. Эти средние значения сами являются случайными величинами. Их распределение, т. е. распределение средних значений разных выборок, полученных из одной генеральной совокупности, будет нормальным со средним значением, равным среднему значению генеральной совокупности хт, дисперсией — и средним квадратическим отклонением (см. конец § 2.2).
Таким образом, хв уже выступает как случайная величина, для нее можно записать следующую функцию распределения вероятностей [см. (2.22)]:
Из (3.16) можно записать для хв следующие неравенства:
Вероятность того, что хв попадает в этот интервал (доверительную вероятность), можно найти по общей формуле нахождения р по х или т по р можно воспользоваться таол. ( или таблицей функции Ф (см. [2]).
Результаты интегрирования (3.20) найдем, используя функцию Ф (см. § 2.3). По формуле (2.25) получим
и учитывая (см. § 2.3), что Ф(-τ) = 1 — Ф(τ), получим из (3.21):
Таблица 7
| τ | ||||||||||
| 0,0 | 0,5 | 0,5040 | 0,5080 | 0,5120 | 0,5160 | 0,5199 | 0,5239 | 0,5279 | 0,5319 | 0,5359 |
| 0,4 | ||||||||||
| 0,9 | ||||||||||
| 1,4 | ||||||||||
| 1,9 |
Хотя неравенства (3.16) и (3.19) по существу идентичны, но для практических целей важнее запись (3.16), так как она позволяет решить главную задачу — при заданной доверительной вероятности и найденной выборочной средней найти доверительный интервал, в который попадает генеральная средняя.
Запишем неравенство (3.16), подставив в него выражение εиз формулы (3.22):
Практически при нахождении доверительного интервала по формуле (3.24) берут выборочную среднюю некоторой конкретной выборки (объем п > 30), а вместо генеральной средней квадратичной используют выборочную среднюю квадратичную этой же выборки. Поясним это некоторым примером. Вновь обратимся к данным таблиц, считая их выборкой. Найдем доверительный интервал для генеральной средней, из которой эта выборка получена, считая доверительную вероятность равной р = 0,95. Из (3.23) для такой доверительной вероятности получаем: Ф(τ) = 0,975.
В табл. 7 левый вертикальный столбец содержит значения с точностью до десятых долей, а верхняя горизонтальная строчка дает сотые доли т, поэтому для Ф(х) = 0,975 имеем х = 1,9 + 0,06= = 1,96. Подставляя это значение τ, выборочную среднюю (3.6), выборочное среднее квадратическое отклонение (3.9) и объем выборки (п = 100) в выражение (3.24),
Интервальная оценка генеральной средней при малой выборке.При достаточно большом объеме выборки можно сделать вполне надежные заключения о генеральной средней. Однако на практике часто имеют дело с выборками небольшого объема (п < 30). В этом случае в выражении доверительного интервала (3.16) точность оценки определяется по следующей формуле:
где t — параметр, называемый коэффициентом Стьюдента (его находят из распределения Стьюдента; оно здесь не рассматривается), который зависит не только от доверительной вероятности р, но и от объема выборки п. Коэффициент Стьюдента. Запишем неравенство (3.16), подставив в него выражение из формулы (3.26): 4п — 1
Поясним использование формулы (3.26) следующим примером. Предположим, что из генеральной совокупности, которую использовали при составлении выборки (см. табл. 5), взяли 10 случайных данных и получили следующее распределение (табл. 9):
Таблица 9
| Масса, кг | 3,0 | 3,1 | 3,2 | 3,3 | 3,4 | 3,5 | 3,7 | 3,8 | 4,0 | 4,4 |
| Частота |
Отсюда можно вычислить хв = 3,54 кг, DB = 0,19156 кг 2 и св = 0,43767 кг. Задав доверительную вероятностью = 0,95, находим для объема выборки п — 10 параметр t = 2,26. Подставляя эти данные в (3.26), получаем для доверительного интервала [см. (3.27)]:
Полезно сопоставить соотношения, полученные для большой (3.25) и малой (3.28) выборок.
Интервальная оценка истинного значения измеряемой величины.Интервальная оценка генеральной средней может быть использована для оценки истинного значения измеряемой величины.
Пусть несколько раз измеряют одну и ту же физическую величину. При этом по разным случайным причинам, вообще говоря, получают разные значения: x1 x2, х3, . . Будем считать, что нет преобладающего влияния какого-либо фактора на эти измерения.
Истинное значение измеряемой величины (xист) совершенно точно измерить невозможно хотя бы по причине несовершенства измерительных приборов. Однако можно дать интервальную оценку для этого значения.
Если значения x1 x2, х3, . рассматривать как варианты выборки, а истинное значение измеряемой величины хист как аналог генеральной средней, то можно по описанным выше правилам найти доверительный интервал, в который с доверительной вероятностью р попадает истинное значение измеряемой величины. Применительно к малому числу измерений (п < 30) из (3.27) получим:
где х — среднее арифметическое значение из полученных измерений, а σ — соответствующее им среднее квадратическое отклонение, t — коэффициент Стьюдента.
Более подробно и разносторонне оценка результатов измерений рассматривается в практикуме (см. [1]).
Проверка гипотез
В медико-биологических исследованиях актуальной является задача сравнения выборок, полученных в результате эксперимента, заключающегося в том или ином воздействии на объект. Фактически конечный результат исследования зависит от достоверности различий значений случайной величины в контроле (до воздействия или без него) и опыте (после воздействия). Наиболее просто решается задача определения достоверности различий статистических распределений, если предварительно для выборок рассчитаны доверительные интервалы. Положим, есть два статистических распределения некоторых случайных величин X и У. Пусть генеральные средние этих распределений с доверительной вероятностью р = 0,95 находятся в доверительных интервалах (хв ± ех) и (ув ± s ), и пусть при этом ув > хв. Если соблюдается неравенство (г/в — ε ) > (хв + ε), то не вызывает сомнения, что случайная величина У существенно больше случайной величины X (см. рис. 3.3, а). Вероятность этого превышает 0,95.
На рис. 3.3, б представлен вариант, когда выборки частично пересекаются, т. е. когда выполняется неравенство (ув — еу) < (хв + гх). В этом случае целесообразно оценивать достоверность различий выборочных средних хв и ув с помощью дополнительных расчетов. Наиболее просто это сделать, предполагая, что случайные величины X и У распределены по нормальному закону. Условием существенности различия двух опытных распределений, являющихся выборками из различных генеральных совокупностей, является выполнение следующего неравенства для опытного и теоретического значений критерия Стьюдента: toa > teop. Для нахождения значения tов используют следующую формулу:
Здесь σх и σy — выборочные средние квадратические отклонения, пх и пу — число вариант в выборках (объемы выборок), хв и yв — выборочные средние значения.
Теоретическое значение tTeop находят по таблице 10, входными величинами которой являются доверительная вероятность р и параметр , связанный с числом вариант в выборках. Этот параметр определяют следующим образом. Если ах ≈σ , то f = пх + п — 2. Если же ах и а различаются на порядок и более, то величина определяется по формуле:
Используя этот способ оценки достоверности различия выборочных средних значений двух выборок, следует придерживаться такой последовательности действий. Во-первых, по экспериментальным данным нужно найти значения выборочных средних и средних квадратических отклонений для каждой выборки. Затем, сравнив величины σх и σy, найти величину f. После этого следует задать определенное значение доверительной вероятности и по таблице 10 найти tтеор. Затем по формуле (3.30) рассчитать ion.
Если при сравнении теоретического и опытного критериев Стьюдента окажется, что tou > tTeop, то различие между выборочными средними значениями случайных величин X и Y можно считать существенным с заданной доверительной вероятностью. В противоположном случае различия несущественны.
Представленный выше способ оценки достоверности различий выборок по выборочным средним является довольно простым. Существует большое число тестов и критериев для сравнения выборок и составления заключения о достоверности их различий. Как правило, при этом рассматривают вероятность двух взаимоисключающих гипотез. Одна из них, условно называемая «нулевой» гипотезой, заключается в том, что наблюдаемые различия между выборками случайны (т. е. фактически различий нет). Альтернативная гипотеза означает, что наблюдаемые различия статистически достоверны. При этом для оценки обоснованности вывода о достоверности различий используют три основных доверительных уровня, при которых принимается или отвергается нулевая гипотеза. Первый уровень соответствует уровню значимости (3 < 0,05) для второго уровня ро < 0,01. Наконец, третий доверительный уровень имеет р < 0,001. При соблюдении соответствующего условия нулевая гипотеза считается отвергнутой. Чем выше доверительный уровень, тем более обоснованным он считается. Фактически значимость вывода соответствует вероятности р = 1 . В медицинских и биологических исследованиях считают достаточным уже первый уровень, хотя наиболее ответственные выводы предпочтительнее делать с большей точностью. Одной из методик, позволяющих судить о достоверности различий статистических распределений, является ранговый тест Уилкоксона. Под рангом (Ri) понимают номер, под которым стоят исходные данные в ранжированном ряду. Если в двух сравниваемых выборках данному номеру соответствуют одинаковые варианты, то рангом этих вариант является среднее арифметическое двух рангов — данного и следующего за ним (см. пример). Покажем, как используется этот тест на примере сравнения двух равных по объему выборок.
Измеряли массу 13 недоношенных новорожденных (в граммах) в двух районах А и Б большого промышленного центра, один из которых (Б) отличался крайне неблагоприятной экологической обстановкой. Получены два статистических распределения (А) и (Б):
А: 970 990 1080 1090 1110 1120 ИЗО 1170 1180 1180 1210 1230 1270
Б: 780 870 900 900 990 1000 1000 1020 1030 1050 1070 1070 1100
Следует решить вопрос о том, достоверны ли различия между этими статистическими распределениями.
Составим общий ранжированный ряд с указанием номеров соответствующих вариант (RA Б) — рангов (строки А и Б соответствуют выборкам):
Как видно, варианта 990 встречается в первой и второй выборках, поэтому для нее рангом является среднее арифметическое значение 6 и 7.
Далее в ряду остаются лишь варианты первой выборки, поэтому ряд не закончен. Нулевая гипотеза состоит в том, что различий между выборками нет (они случайны и потому несущественны). Ранговый тест учитывает общее размещение вариант и размеры выборок, но не требует знания типа распределения. Основной вывод о верности нулевой гипотезы делается на основании анализа минимальной суммы рангов (из двух сумм для сравниваемых выборок), т. е. критерием является величина Т = ЯБ (учитывая, что Rв < Z -RA). При этом пользуются специальными таблицами. В частности, если число вариант в выборках одинаково (п1 = п2).
Критические значения величины r (теста Уилкоксона) при п1 = п2 = п для разных значений уровня значимости/
В этой таблице указаны две входные величины: число вариант в выборках и значение третьего и второго уровней значимости (Ро = 0,05 и 0,01). В нашем случае Т = RB = 110,5, что меньше табличного значения для п = 13 и βо < 0,01. Следовательно, на втором уровне значимости (р > 0,99) можно отвергнуть нулевую гипотезу. Таким образом, различия выборок достоверны с вероятностью, превышающей 0,99.
Источник
Выборочный метод. Статистические оценки параметров генеральной совокупности
Генеральной совокупностью называется весь набор однородных объектов, изучаемых относительно некоторого качественного или количественного признака. Число всех изучаемых объектов N называется объемом генеральной совокупности.
Выборка –это та часть генеральной совокупности, элементы которой подвергаются статистическому обследованию. Число n вошедших в выборку элементов называется объемом выборки.
Одна из задач математической статистики – оценка параметров генеральной совокупности по данным выборки.
Статистические оценки бывают точечные (определяемые одним числом) и интервальные (определяемые двумя числами — концами интервала). Точечные оценки дают представление о величине соответствующего параметра, а интервальные характеризуют точность и достоверность оценки.
Для достоверности результатов точечная оценка должна быть несмещенной, состоятельной и эффективной. Этим условиям удовлетворяют следующие оценки:
· для математического ожидания генеральной совокупности –
выборочное среднее ; (24)
· для дисперсии генеральной совокупности –
выборочная дисперсия ; (25)
· для среднего квадратичного отклонения генеральной совокупности –
стандартное отклонение
При выборке малого объема точечная оценка может сильно отличаться от оцениваемого параметра. Поэтому при небольшом объеме выборки (чаще всего встречающемся на практике) пользуются интервальными оценками. Интервальная оценка – это оценка, которая определяется двумя числами – концами интервала или доверительными границами.
Если q * – статистическая оценка параметра q, то говорят, что оценка вычислена с точностью d , если ú q — q * ú < d , (27)
то есть величина параметра q попадает в интервал (q * — d ; q * + d) .
Статистические методы позволяют говорить только о вероятности выполнения неравенства (27), поэтому надежностью (доверительной вероятностью) оценки называется вероятность g , с которой осуществляется это неравенство.
Интервал (q * — d ; q * + d) , который покрывает неизвестный параметр с заданной надежностью g, называется доверительным интервалом.
Доверительную вероятность (надежность) g берут обычно (в зависимости от важности оцениваемого признака) 0,95; 0,99; 0,999.
Чтобы оценить среднее значение некоторого количественного признака Х генеральной совокупности, строят доверительный интервал для математического ожидания с доверительной вероятностью (надежностью) g . Предположим, что признак Х распределен нормально. При этом возможны два случая.
· Если среднее квадратичное отклонение s известно, то по выборке объема n вычисляют среднее выборочное значение , а также определяют такое значение аргумента t , что . Тогда доверительный интервал для математического ожидания имеет вид (28)
· Если среднее квадратичное отклонение s неизвестно, то для построения доверительного интервала по выборке объема n вычисляют точечные оценки: — выборочное среднее; s – выборочное среднее квадратичное отклонение ( s = ). Затем по справочной таблице значений величины tg , связанной с распределением Стьюдента, находят tg = t(g, n). В этом случае доверительный интервал для математического ожидания имеет вид (29)
Замечание. Для выборок большого объема можно вместо формулы (29) использовать формулу (28).
Источник
Оценки параметров генеральной совокупности. Доверительные интервалы
В статистическом исследовании при изучении некоторого признака (или набора признаков) проводят конечное число наблюдений \(x_1,x_2,…,x_k\).
Реально полученная совокупность наблюдений \(\left\
Как правило, при этом существует более обширная генеральная совокупность (population) , на которую результаты анализа выборки планируется распространить. Например:
50 посетителей магазина, заполнившие анкеты
Все будущие посетители магазина
100 опрошенных школьников
Все школьники города/области/страны
10 опытов с определением периода математического маятника
Все математические маятники
Насколько большой должна быть выборка, чтобы надежно представлять генеральную совокупность? К концу параграфа мы получим ответ на этот вопрос для определенного класса задач.
Попутно заметим, что малой называют выборку, если при исследовании одного признака её объем \(n\lt 30\), а при исследовании k признаков \(\frac
п.2. Способы, виды и методы отбора
Пять способов отбора
| Простой случайный | Объекты случайно извлекаются из генеральной совокупности, например, с помощью генератора случайных чисел. |
| Простой механический | Объекты извлекаются по тегу, например, при поиске по дате, номеру, букве алфавита и т.д. |
| Стратифицированный (типический) | Объекты извлекаются по признаку, например, по возрасту, району проживания, профессии и т.д. |
| Серийный | Простым случайным или простым механическим способом отбирается группа (серия) объектов, а затем они все изучаются (сплошное исследование). Например, выбор дома и опрос всех его жильцов; или выбор партии товара и проверка каждого изделия в партии. |
| Комбинированный | Сочетание нескольких предыдущих способов. |
Три вида отбора
| Индивидуальный | Отбираются отдельные единицы генеральной совокупности |
| Групповой | Отбираются однородные по некоторому признаку группы |
| Комбинированный | Сочетание индивидуального и группового |
Два метода отбора
| Повторная выборка | Единицу генеральной совокупности отбирают, показания регистрируют, а затем возвращают обратно (т.е. могут опять выбрать). |
| Бесповторная выборка | Единицу генеральной совокупности отбирают, показания регистрируют, и обратно не возвращают. |
п.3. Распространение результатов выборки на генеральную совокупность при изучении альтернативного признака
Например:
1) орел или решка;
2) 0 или 1;
3) качественный или бракованный и т.п.
Мы уже знаем, что конечное число экспериментов с таким признаком описывается биномиальным распределением (см. §40 справочника для 9 класса), а при \(n\rightarrow \infty\) биномиальное распределение приближается к нормальному (см. §64 данного справочника).
При исследовании альтернативного признака x генеральной совокупности с помощью выборки будем использовать следующие обозначения:
| Генеральная совокупность | Выборка | |
| Объем | $$ N $$ | $$ n $$ |
| Число единиц с признаком x | $$ N_x $$ | $$ n_x $$ |
| Доля единиц с признаком x | $$ p=\frac | $$ w=\frac |
| Дисперсия | $$ \sigma^2=p(1-p) $$ | $$ \sigma^2=w(1-w) $$ |
| CKO | $$ \sigma=\sqrt | $$ \sigma=\sqrt |
Например:
Из партии товара в 1000 изделий было случайным образом выбрано 100 изделий, и среди них обнаружено 8 бракованных. Для этой выборки можем записать: \begin
В партии товара из предыдущего примера \(w=0,005\) — доля брака.
Средняя ошибка при определении доли брака в генеральной совокупности зависит от способа отбора партии. Пусть выборка бесповторная (при выборе 100 изделий из 1000 мы откладывали их в сторону).
Тогда: \begin
Доверительным интервалом оценки неизвестного параметра генеральной совокупности называют вычисленный на основе данных выборки интервал, в котором генеральный параметр содержится с известной вероятностью.
Доверительный интервал для оценки среднего значения доли в генеральной совокупности: $$ p=w\pm\triangle\ \text<или>\ w-\triangle\leq p\leq 2+\triangle $$
\(Z_\alpha\) – это квантиль нормального распределения, который появляется потому, что генеральная совокупность считается нормально распределенной.
Величина \(P=1-\alpha\) называется уровнем доверия (доверительной вероятностью) , это вероятность того, что при измерении доли в генеральной совокупности её значение попадет в заданный интервал.
Соответственно \(\alpha\) – уровень значимости — это вероятность промаха.
Существуют таблицы со значениями \(Z_\alpha\).
Для расчета также можно пользоваться MS Excel функцией НОРМСТОБР(1-α/2).
Например:
Найдем \(Z_\alpha\) для доверительной вероятности 95%.
\(P=0,95\Rightarrow\alpha=1-P=0,05\) 
Теперь найдем предельную ошибку выборки для нашего примера с точностью до тысячных: $$ \triangle =1,9600\cdot 0,0257\approx 0,050 $$ Заметим, что расчеты в данном случае ведутся в Excel, и мы просто записываем результаты округлений, в то время как в сам Excel хранит результаты и выполняет вычисления точностью до 15 значащих цифр.
Если вы ведете расчеты на калькуляторе с промежуточными округлениями, то для того, чтобы получить результат с точностью до тысячных, нужно иметь «про запас» еще одну цифру после запятой (т.е. до 4х знаков).
95% доверительный интервал имеет вид: \begin
п.4. Минимальный объем выборки
Например:
Пусть «целевая» предельная ошибка выборки равна \(\triangle =0,01\), доверительная вероятность равна 95%.
Для нашего примера с партией товара получаем (бесповторная выборка): $$ n_<мин>=\frac<1><\left(\frac<0,01><1,96\cdot 0,271>\right)^2+\frac<1><1000>>\approx 738,7\approx \uparrow 739 $$ Нам необходимо проверить не менее 739 изделий из 1000, чтобы записать для средней доли в генеральной совокупности \(p=w\pm 0,01\).
п.4. Алгоритм построения доверительного интервала для оценки генеральной доли
Повторная выборка
На входе: объем выборки n, число повторений признака \(n_x\), доверительная вероятность \(P\)
Шаг 1. Найти выборочную долю \(w=\frac
Шаг 2. Найти среднюю ошибку выборки \(m=\frac<\sigma><\sqrt
Шаг 3. Найти уровень значимости \(\alpha=1-P\), рассчитать \(Z_\alpha\) (если в Excel, то НОРМСТОБР(1-α/2))
Шаг 4. Найти предельную ошибку выборки \(\triangle =Z_\alpha m\)
На выходе: интервал для генеральной доли \(p=w\pm\triangle\)
Бесповторная выборка
На входе: объем генеральной совокупности N, объем выборки n, число повторений признака \(n_x\), доверительная вероятность \(P\)
Шаг 1. Найти выборочную долю \(w=\frac
Шаг 2. Найти среднюю ошибку выборки \(m=\frac<\sigma><\sqrt
Шаг 3. Найти уровень значимости \(\alpha=1-P\), рассчитать \(Z_\alpha\) (если в Excel, то НОРМСТОБР(1-α/2))
Шаг 4. Найти предельную ошибку выборки \(\triangle =Z_\alpha m\)
На выходе: интервал для генеральной доли \(p=w\pm\triangle\)
п.5. Для каких величин строят доверительные интервалы?
В этом параграфе мы научились строить доверительный интервал для оценки биномиальной доли в генеральной совокупности.
На практике в статистических исследованиях доверительные интервалы строят для:
— оценки математического ожидания в генеральной совокупности, если выборка образует вариационный ряд (дискретный или непрерывный). Здесь разделяют два случая: а) генеральная дисперсия известна или б) она неизвестна;
— оценки дисперсии генеральной совокупности, если выборка образует вариационный ряд (дискретный или непрерывный). Здесь также разделяют два случая: а) генеральная средняя известна или б) она неизвестна.
Алгоритмы для поиска доверительных интервалов отличаются использованием различных распределений (Z-распределения, t-распределения Стьюдента, χ 2 -распределения), но, если обобщить, то логика такова: опираясь на результаты выборки и гипотезу о распределении средней или дисперсии, получаем оценку для соответствующей генеральной величины.
Подробней о построении различных доверительных интервалов вы можете узнать из вузовских курсов теории вероятностей и статистики.
п.6. Примеры
Пример 1. Перед выборами мера в городе был проведен опрос 1000 человек (2% бесповторная выборка). В результате опроса оказалось, что за кандидата Y готовы проголосовать 423 человека из опрошенных. Определите с уровнем значимости 3% долю сторонников кандидата Y в городе.
По условию: $$ n=1000;\ \frac nN=2\text<%>=0,02;\ n_x=423;\ \alpha=3\text<%>=0,03 $$ Находим выборочную долю и дисперсию: \begin 
Предельная ошибка выборки с точностью до тысячных: $$ \triangle=Z_\alpha m=2,1701\cdot 0,0155\approx 0,034 $$ 97% доверительный интервал имеет вид: \begin
Вывод: с вероятностью 97% (уровнем значимости 3%) можно утверждать, что доля сторонников кандидата Y в городе составляет от 38,9% до 45,7%.
Пример 2. Какое минимальное число людей нужно опросить в городе из предыдущего примера, чтобы можно было с уровнем значимости 3% получить предельную ошибку для генеральной доли \(\triangle=\)1%. Выборка бесповторная.
По условию предыдущего примера общее число жителей в городе: \(N=\frac
Оценка минимального объема бесповторной выборки: $$ n_<мин>=\frac<1><\left(\frac<\triangle>
Источник