Погрешность социологического опроса описывает неопределённость оценки, полученной по выборке. Она не является разрешённым отклонением для любых ошибок исследования и не позволяет объявить реальным каждое изменение результата на один-два пункта.
Начнём с условного опроса о городском парке
Представим, что 48% опрошенных поддержали проект, а заявленная выборочная погрешность составляет плюс-минус три процентных пункта. Простейшее чтение даёт интервал от 45% до 51% при условиях, на которых рассчитана эта погрешность. Числа примера вымышлены и не описывают реальный город.
Три процентных пункта здесь не равны трём процентам от 48. Именно путаница процентов и пунктов часто делает небольшое изменение в заголовке намного убедительнее, чем оно есть.
Что означает доверительный уровень 95%
Для классического доверительного интервала смысл связан с повторением процедуры: при многократном проведении сопоставимых исследований около 95% построенных таким способом интервалов накрывали бы истинное значение. Это характеристика метода, а не утверждение о 95-процентной вероятности истинности любой выбранной трактовки результатов.
В разъяснениях Pew Research Center погрешность рассматривается вместе с устройством выборки и взвешиванием. Поэтому число без описания метода мало говорит о качестве исследования.
Почему две цифры сравнивать сложнее, чем одну
Если за проект высказались 48%, а против — 46%, двухпунктовое преимущество ещё не доказывает устойчивого перевеса в населении. Для разницы показателей нужна собственная оценка неопределённости. Точно так же рост с 48% до 50% в двух разных опросах нельзя автоматически объявить изменением настроений.
Отдельная ловушка — подгруппы. Погрешность всей выборки не переносится без изменений на небольшую группу молодых участников или жителей одного района. В ней наблюдений меньше, а неопределённость обычно больше.
Не всякий онлайн-опрос имеет классическую погрешность
Самоотбор участников по ссылке и вероятностная выборка устроены по-разному. Pew отдельно объясняет, что для добровольных онлайн-выборок оценка неопределённости опирается на дополнительные модельные предположения. Большое число ответов не исправляет автоматически перекос состава участников.
Что проверить рядом с красивым процентом
Перед выводом полезно найти не только размер выборки, но и сведения, позволяющие понять, кого и как спрашивали.
- Кто входил в целевую группу и как отбирались участники.
- Когда проводился опрос и как звучал вопрос.
- Каков размер нужной подгруппы и применялось ли взвешивание.
- Для какого показателя и метода рассчитана указанная погрешность.
Читайте также: Почему статистические рейтинги депрессии по странам расходятся
Неответы, наводящая формулировка и желание дать социально одобряемый ответ не исчезают внутри плюс-минус трёх пунктов. Погрешность помогает читать опрос аккуратнее, но не заменяет проверки того, как он был проведён.