вебинар османов

Репрезентативность выборки
в телефонных опросах
Тимур Османов,
Фонд «Общественное мнение»,
Методический Цех
Серия вебинаров группы 7/89
13, 14, 15 мая 2015 года

Правила
13-15.05.2015 Тимур Османов 2

Команда
• Дмитрий Рогозин, РАНХиГС
• Дмитрий Сапонов, Методический Цех
• Анна Ипатова, РАНХиГС
• Надежда Галиева, Социальная Валидация
• Алексей Чуриков, ФОМ
Заслуги общие, но ответственность на мне :)

План
• Общая теория ошибок
• Ошибка покрытия
• Формирование выборки телефонных номеров
• Двухосновные выборки номеров мобильных и
стационарных телефонов
• Ошибка неответов
• Процедуры взвешивания данных
• Оценка качества телефонных опросов

Как оценивать репрезентативность
выборки?

КОНСТРУКТ
ИЗМЕРЕНИЕ
ОТВЕТ
НАБОР
ДАННЫХ
ЦЕЛЕВАЯ
ГРУППА
ОСНОВА
ВЫБОРКИ
СПРОЕКТИРОВАННАЯ
ВЫБОРКА
РЕАЛИЗОВАННАЯ
ВЫБОРКА
ВЫВОДЫ,
ЗАКЛЮЧЕНИЯ,
РЕКОМЕНДАЦИИ
[Lavrakas, P.J, 2013, P. 835]
Ошибки измерения Ошибки репрезентации
Ошибки
спецификации
Ошибки
измерения
Ошибки
регистрации
Ошибки
вывода
Ошибки
покрытия
Ошибки
выборки
Ошибки
неответов
Ошибки
редактирования
Общая теория ошибок (total error framework)
Лекции Д.М. Рогозина в Шанинке от 23.11.2013.

Характеристики репрезентативности выборки
Выборка
ОТВЕТЫ
Основа выборки
Целевая группа
НЕОТВЕТЫ
Sarndal, C.-E., Lundstrom, S. Estimation in surveys with nonresponse. New York: John Wiley
& Sons, 2005. P. 9.

Ошибка покрытия
Выборка
ОТВЕТЫ
НЕОТВЕТЫ

Ошибка неответов
Выборка
ОТВЕТЫ
НЕОТВЕТЫ

• Опрос целевой группы по списку, в котором у
каждого есть номер телефона (студенты
определённого вуза, клиенты, эксперты,
сотрудники предприятий, панельные
исследованияи т.д.)
• Опрос людей, проживающих на определённой
территории (возможно, со скрининговыми
условиями) – “населенческие” опросы. В общем
случае нет списка номеров телефонов всех
представителей целевой группы.
Примеры различных типов опросов
с т.з. формирования выборки

ОШИБКА ПОКРЫТИЯ

Способы измерения
• Росстат:
– Число квартирных телефонных аппаратов. Этот
параметр невозможно пересчитать на телефонизацию населения без информации о
телефонизации домохозяйств различных размеров.
– Число подключенных к сетям абонентских
станций (абонентских устройств). Уровень мобильной
телефонизации – 146%.
• Данные опросов по месту жительства.

0
20
40
60
80
100
Июль1992
Июль1993
Июль1994
Июль1995
Июль1996
Июль1997
Июль1998
Июль1999
Июль2000
Июль2001
Июль2002
Июль2003
Июль2004
Июль2005
Июль2006
Июль2007
Июль2008
Июль2009
Июль2010
Июль2011
Июль2012
Июль2013
Июль2014
Июль2015
Проникновение мобильной и стационарной телефонии
Доля пользователей
мобильной связью, %.
Данные ФОМ
стационарной связью, %.
Данные Росстата.
Данные ФОМ.
Данные Росстата рассчитаны,
исходя из гипотезы о равномерной
телефонизации домохозяйств
различного размера.

Данные МегаФОМа, февраль 2011, выборка 54400 респондентов. 74 региона РФ. В каждом регионе 800 либо 500 респондентов.
PPS отбор населённых пунктов. Отбор домохозяйства маршрутным методом. Отбор респондента по квоте на пол, возраст,
образование.Однократное посещение домохозяйства. Постстратификация по субъектам РФ. Различная вероятность отбора
респондентов в домохозяйстве весами не компенсировалась.
Вопрос: Скажите, пожалуйста, есть ли у Вас лично мобильный телефон? И есть ли
стационарный телефон у Вас дома?
Генеральная совокупность
Опрос по месту жительства

Возраст
Естьтелефон
Неттелефона
18 - 24 лет 96 48 94 3
25 - 34 лет 97 51 95 3
35 - 44 лет 96 59 93 4
45 - 54 лет 92 62 86 7
55 - 64 лет 92 66 79 7
65 лет и старше 84 68 51 15
Все опрошенные 93 59 84 6
Наличие мобильных и стационарных телефонов у различных соц-дем групп.

Есть
телефон
Нет
телефона
Образование личное
ниже среднего 79 45 55 21
среднее общее 90 50 80 9
начальное профессиональное 93 50 87 6
среднее специальное 95 61 87 4
высшее 98 73 93 2
Наивысший уровень образования в семье
неполное среднее и ниже 74 43 46 25
среднее общее 84 41 70 15
начальное профессиональное 91 40 82 8
среднее специальное 92 54 83 7
незаконченное высшее 94 58 86 5
высшее 97 70 90 3
аспирантура, ученая степень, звание 97 83 92 3

Какое высказывание точнее всего
описывает материальное положение
Вашей семьи? (Карточка, один ответ.)
Естьстационарный
Естьмобильный
денег не хватает даже на питание 87 45 76 12
на питание денег хватает, но одежду, обувь
купить не можем
90 54 77 9
на одежду, обувь денег хватает, но крупную
бытовую технику купить не можем
95 61 86 5
на бытовую технику денег хватает, но
автомобиль купить не можем
97 72 94 1
на автомобиль денег хватает, но квартиру
или дом купить не можем
98 72 97 1
на квартиру или дом денег хватает 98 65 95 1

Тип населенного пункта, где живет
респондент
Естьстационарный
Естьмобильный
город с населением 1 млн и более 97 81 88 2
город с населением от 500 тыс. до 1 млн 96 69 85 4
город с населением от 250 до 500 тыс. 96 64 85 4
город с населением менее 50 тыс. 93 55 84 6
поселок городского типа 92 49 83 7
село 87 38 79 12

РАСПРЕДЕЛЕНИЕ РОССИЙСКОГО НАСЕЛЕНИЯ ПО НАЛИЧИЮ МОБИЛЬНОГО ТЕЛЕФОНА
Возраст от 18 до 60 лет (90,5%)
Род занятий
Неработающие пенсионеры;
не работающие, но ищущие
работу; з/о (81,0%)
Рабочие; не работающие и не
планирующие искать работу
(90,3%)
Все работающие и учащиеся,
кроме рабочих (95,4%)
Возраст Самое высокое
образование
в семье
Среднее
общее и
ниже
НПО,
СПО,
неоконч.
высшее
Высшее
Среднее
общее и ниже
Выше
среднего
общего
Ниже
высшего
Высшее
От 18 до 38 лет
74,5%
1,2%
87,6%
3,7%
94,0%
2,1%
88,3% 2,1% 95,0% 12,8% 95,5% 8,0%
96,9% 20,2%
89,9% 8,1% 91,7% 3,8%
63,8%
1,6%
79,1%
1% 84,6%
3,5%
74,3%
3,8% 81,5% 5,7% 87,7% 1,9%
Старше 60 лет (55,8%)
Личное образование
Возраст
Неполное среднее
или ниже
Среднее общее,
начальное проф.
Среднее специальное,
неоконченное высшее
Высшее, аспирантура,
затрудняюсь ответить
70 лет и моложе (но старше 60) 51,8% 1,7% 58,7% 3,0% 71,2% 3,7% 79,9% 1,6%
Старше 70 лет 37,7% 4,1% 41,3% 1,9% 52,8% 2,6% 63,9% 1,6%

РАСПРЕДЕЛЕНИЕ РОССИЙСКОГО НАСЕЛЕНИЯ ПО НАЛИЧИЮ СТАЦИОНАРНОГО ТЕЛЕФОНА 1
Жители городов с населением 1 млн. и более
Материальное
благополучие
Возраст
Денег не хватает
на питание
Денег хватает на
питание
одежду
бытовую технику
автомобиль
58,9% 1,3%
71,3% 2,3%
69,9% 1,6%
86,1% 4,5% 90,4% 1,4%От 28 до 60 лет 84,2% 4,9%
Старше 60 лет 86,4% 1,4% 91,7% 1,5%
Жители городов с населением от 100 тыс. до 1 млн.
Возраст
Самое высокое
образование в семье
От 18 до 32 лет От 33 до 38 лет От 39 до 54 лет От 55 до 60 лет Старше 60 лет
Среднее общее и ниже,
начальное проф. 35,3% 0,9%
63,2% 3,3%
51,0% 1,0%
74,7% 2,3%
65,5% 1,4%
Среднее специальное,
неоконченное высшее 47,2% 3,5% 64,5% 3,6% 77,9% 2,2%
Высшее 63,7% 5,1% 79,8% 3,9% 87,1% 2,8%

РАСПРЕДЕЛЕНИЕ РОССИЙСКОГО НАСЕЛЕНИЯ ПО НАЛИЧИЮ СТАЦИОНАРНОГО ТЕЛЕФОНА 2
Жители городов с населением менее 100 тыс., пгт
Род занятий
Не работаю,
з/о
Рабочий, студент, курсант
Служащий,
неработающий
пенсионер
Специалист,
руководитель
Доход, руб Самое высокое
в семье Любое
Среднее общее
и ниже,
Среднее спец.,
неоконченное
высшее
Высшее Любое Любое
Менее 12000, з/о, отказ
37,8% 3,0% 33,3% 1,7% 47,8% 4,0%
58,4%
2,3%
59,6% 8,4% 62,9% 2,3%
Более 12000 73,3% 1,4% 74,7% 1,4%
Жители сел
Самое высокое образование
в семье
Доход, руб
Неполное
среднее
Среднее общее,
Среднее
специальное
Неоконченное
высшее
Высшее
0-6000, з/о
30,7% 1,2%
19,6% 3,3%
31,0% 5,3%
41,2% 1,2%
39,0% 2,6%
Отказ от ответа
33,8% 2,8% 54,2% 5,0%
6000 и более 44,2% 5,2%

РАСПРЕДЕЛЕНИЕ РОССИЙСКОГО НАСЕЛЕНИЯ ПО НАЛИЧИЮ КАКОГО-ЛИБО ТЕЛЕФОНА
Все работающие и учащиеся; не работающие и не планирующие искать работу (96,0%)
Личное
Неполное
среднее и
ниже
Начальное проф.,
среднее специальное,
Высшее
Личный
доход (8000 –
среднее)
Возраст, пол
Любой 39 лет и старше От 18 до 38 лет Мужчины Женщины Любой
Ниже 8000 рублей
85,8%
1,9% 91,1% 6,2% 96,2% 8,0%
92,1%
6,5%
96,4%
10,2%
96,6% 2,4%
Отказ, затрудняюсь ответить
98,7% 5,5%
От 8000 до 12000 рублей 97,3% 7,4%
Выше 12000 рублей 98,4% 10% 99,5% 6,2%
Неработающие пенсионеры; не работающие, но ищущие работу; з/о (87,0%)
Личное образование
Тип
населенного пункта
Неполное среднее и
ниже
Начальное проф.,
среднее специальное,
Высшее
Город 1 млн. и больше
87,0% 2,2%
93,5% 1,1% 96,3% 2,3% 95,8% 1,4%
Город 100 тыс. – 1 млн. 89,7% 2,4% 93,6% 4,5% 99,0% 1,6%
Город <100 тыс., пгт 76,4% 1,8% 85,8% 2,3% 91,3% 3,8%
92,8% 1,6%
Село 67,3% 3,0% 75,9% 3,3% 86,2% 4,3%

Устойчивость измерения
Скажите, пожалуйста, есть ли у Вас лично мобильный телефон?И
есть ли стационарный телефон у Вас дома?
ОпросМониторинг 8 Пента 8 Омнибус 9 Омнибус 10 МегаФОМ
Компания ФОМ ФОМ ВЦИОМ ВЦИОМ ФОМ
Выборка 1500 1500 1600 1600 60500
Дата проведения
2014,
февраль
2014,
февраль
2014,
март
2014,
март
2014,
апрель
есть и стационарный, и
мобильный 44 40 43 40 42
есть только стационарный 4 5 4 4 4
есть только мобильный 48 48 47 51 50
нет ни стационарного, ни
мобильного 4 7 6 4 4
затрудняюсь ответить 0 1 0 1 1

Динамика телефонизации
• МегаФОМ, 54388 респондентов,
2-24 февраля 2011 года
31 мая – 18 июня 2012 года
5-25 апреля 2014 года
• Пента, 1500 респондентов,
29-30 апреля 2015 года

20%
30%
40%
50%
60%
70%
18-24 25-34 35-44 45-54 55-64 65+
Динамика доли пользователей стационарными
телефонами в зависимости от возраста
2015
2014
2012
2011

40%
50%
60%
70%
80%
90%
100%
18-24 25-34 35-44 45-54 55-64 65+
Динамика доли пользователей мобильными
телефонами в зависимости от возраста
2015
2014
2012
2011

82%
84%
86%
88%
90%
92%
94%
96%
98%
100%
18-24 25-34 35-44 45-54 55-64 65+
Динамика доли пользователей мобильными либо
стационарными телефонами в зависимости от
возраста
2015
2014
2012
2011

20%
30%
40%
50%
60%
70%
80%
не хватает на
питание
одежду, обувь
крупную бытовую
технику
квартиру или дом
хватает на
квартиру или дом
телефонами в зависимости от уровня дохода
2015
2014
2012
2011

70%
75%
80%
85%
90%
95%
100%
питание
крупную
квартиру или
дом
хватает на
дом
телефонами в зависимости от уровня дохода
2015
2014
2012
2011

87%
89%
91%
93%
95%
97%
99%
питание
крупную
дом
хватает на
дом
стационарными телефонами в зависимости от уровня
дохода
2015
2014
2012
2011

20%
30%
40%
50%
60%
70%
80%
90%
город более
1 млн
город 500
тыс. - 1 млн
город 250 -
500 тыс.
город 100 -
250 тыс.
город 50 -
100 тыс.
город менее
50 тыс.
пгт село
телефонами в зависимости от типа населённого
пункта
2015
2014
2012
2011

76%
78%
80%
82%
84%
86%
88%
90%
92%
94%
96%
1 млн
город 500
тыс. - 1 млн
город 250 -
500 тыс.
город 100 -
250 тыс.
город 50 -
100 тыс.
50 тыс.
пгт село
телефонами в зависимости от типа населённого
пункта
2015
2014
2012
2011

86%
88%
90%
92%
94%
96%
98%
100%
1 млн
город 500
тыс. - 1 млн
город 250 -
500 тыс.
город 100 -
250 тыс.
город 50 -
100 тыс.
50 тыс.
пгт село
типа населённого пункта
2015
2014
2012
2011

20%
30%
40%
50%
60%
70%
80%
ниже среднего ср. общее нач. проф. ср. спец. высшее
телефонами в зависимости от уровня
образования
2015
2014
2012
2011

50%
55%
60%
65%
70%
75%
80%
85%
90%
95%
100%
телефонами в зависимости от уровня
образования
2015
2014
2012
2011

75%
80%
85%
90%
95%
100%
уровня образования
2015
2014
2012
2011

• Уровень проникновения стационарной телефонии
сильно упал во всех рассмотренных группах.
• Люди будут продолжать отказываться от стационарных
телефонов в пользу мобильных телефонов и других
средств связи.
• Мобильная телефонизация продолжает расти.
• Доля респондентов без какого-либо телефона падает.
• Главный критерий наличия стационарного телефона –
тип населённого пункта.
• Главный критерий наличия мобильного телефона –
возраст респондента.
• Главный критерий наличия какого-либо телефона – род
занятий в 2011 году и уровень образования в 2014 году

0
20
40
60
80
100
Июль1992
Июль1993
Июль1994
Июль1995
Июль1996
Июль1997
Июль1998
Июль1999
Июль2000
Июль2001
Июль2002
Июль2003
Июль2004
Июль2005
Июль2006
Июль2007
Июль2008
Июль2009
Июль2010
Июль2011
Июль2012
Июль2013
Июль2014
Июль2015
Проникновение мобильной и стационарной телефонии
мобильной связью, %.
Данные ФОМ
Данные Росстата.
Данные ФОМ.
Данные Росстата рассчитаны,
исходя из гипотезы о равномерной
телефонизации домохозяйств
различного размера.

Mansor Fahimi, Webinar “Improvements for Dual-Frame RDD Sampling and Weighting Applications”, June 20, 2012.
Динамика проникновения стационарной телефонии в США

ФОРМИРОВАНИЕ ВЫБОРКИ
ТЕЛЕФОННЫХ НОМЕРОВ

Случайный отбор телефонного номера –
обязательное условие для возможности
применения методов математической
статистики.
С отбором номеров проблем, как правило, не
возникает (отбор при помощи датчика
случайных чисел, систематический отбор).
Основная проблема в определении основы
выборки (списка номеров, из которого
проводится отбор).

Телефонный номер в России
+7-X1X2X3-Y1Y2Y3Y4Y5Y6Y7
X1X2X3 - Код зоны нумерации, называемый
ABC для географически определяемой зоны
нумерации или DEF — для географически не
определяемой зоны нумерации.
В большинстве случаев ABC – стационарные
телефоны, DEF – мобильные телефоны.

Использование телефонных баз
• Федеральный закон РФ "О персональных
данных", N 152-ФЗ от 27.07.2006.
• Однако, телефонные базы по городам и
районам доступны. Причём, как
стационарных, так и мобильных номеров.
• Неизвестно, насколько они актуальные и
полные.
• Вероятно, в них будет мало несуществующих
номеров. Что ведёт к удешевлению опроса.
• Таргетирование по имеющейся в базе
информации.

Использование телефонных баз
Альтернативные телефонные базы из открытых
источников.
Парсинг avito.ru, irr.ru, avto.ru и других сайтов, на
которых пользователи добровольно выкладывают
номера своих телефонов.
Например, на сайте avito.ru 2529 объявлений в городе Великий Устюг
Вологодской области (11.05.2015). Население города составляет 31983
человек, а Великоустюгского района 56311 человек (Росстат на
01.01.2014).
Конечно, такие базы не репрезентативны
относительно населения.

RDD по задействованным
диапазонам
RDD - Random digit dialing
Информация о ВСЕХ задействованных ABC и DEF
диапазонах доступна на сайте Россвязи. Она
обновляется ежемесячно.
http://www.rossvyaz.ru/activity/num_resurs/registerNum/
На основе этой информации можно составить
полный список всех телефонных номеров
России
Доля дозвонов около 20%. Значительно ниже, чем при использовании
телефонных баз. Следовательно, существенно повышается стоимость
опроса.

RDD по задействованным диапазонам
Доступна информация об операторе, регионе.
Пример для Калининградской области:
АВС/ DEF От До Емкость Оператор Регион
401 2290000 2290049 50ЮТел Калининград |Калининградская область
401 2320000 2329999 10000ВестБалт Телеком Калининградская область
401 2355200 2355299 100КОМПАНИЯ "ЕТАЙП Калининград |Калининградская область
401 2356800 2356999 200ЛУКОЙЛ-ИНФОРМ Калининград |Калининградская область
401 5150000 5151999 2000ВестБалт Телеком Гурьевский |Калининградская область
401 5152000 5152199 200ТРАНКСИТИ Гурьевск |Гурьевский |Калининградская область
401 5228200 5228599 400Ростелеком Светлый |Калининградская область
401 5345000 5345199 200ТРАНКСИТИ Светлогорск |Калининградская область
401 5350111 5350111 1Нэт Бай Нэт Холдинг Янтарный |Светлогорск |Калининградская область
401 5600000 5600199 200ТРАНКСИТИ Багратионовск |Багратионовский |Калининградская область
401 5600400 5600599 200ТРАНКСИТИ Мамоново |Багратионовский |Калининградская область
401 5630000 5639999 10000Ростелеком Багратионовский |Калининградская область
401 5720000 5720199 200ТРАНКСИТИ Правдинск |Правдинский |Калининградская область
401 5721000 5722023 1024Ростелеком Правдинский |Калининградская область
401 7740000 7742999 3000СВЯЗЬИНФОРМ. Гурьевск |Гурьевский |Калининградская область
401 7743000 7745239 2240Связьинформ Светлогорск |Калининградская область
401 7745240 7745999 760Связьинформ Гурьевский |Калининградская область
906 2100000 2199999 100000Вымпел-Коммуникации Калининградская область
921 2600000 2699999 100000МегаФон Калининградская область
952 1100000 1199999 100000Телесет Лтд. Калининградская область

RDD по задействованным диапазонам
Таргетирование по оператору и региону.
«Регион» для ABC (стационарных телефонов): как правило,
административный район.
«Регион» для DEF (мобильных телефонов): как правило,
субъект РФ. Исключения: Москва и Московская область,
Санкт-Петербург и Ленинградская область, Севастополь и
Республика Крым.
Точность таргетирования субъекта РФ в среднем по ABC – 97%,
по DEF – 95% (кроме обозначенных исключений).
Самые «сложные» регионы: ХМАО, ЯНАО, Хакасия, Ингушетия, КЧР, Адыгея,
Алтай, Краснодарский край.

RDD по задействованным
диапазонам
Наиболее оптимальный способ построения
выборки для репрезентации населения
России в целом или отдельного субъекта РФ.
Вероятностная выборка.
Используется в ФОМ с 2010 года.
Систематический отбор номера из задействованных диапазонов.
↓ r ↓ r+F ↓ r+2F ↓ r+F(a-1)
F 2F 3F aF
Из монографии А.В. Чурикова «Основы формирования выборки. Лекции для студентов»

RDD на основе телефонных баз
(list-assisted RDD)
Использование не всех задействованных на
исследуемой территории диапазонов.
Цель:
таргетирование
увеличение доли существующих телефонов
(удешевление опроса).

(list-assisted RDD)
Основные способы формирования:
1. Выбор диапазонов Россвязи, в которых
содержатся телефонные номера из базы.
2. Замена нескольких последних цифр номера
случайными цифрами.
3. Метод “+n”. К номеру из базы прибавляется
определённое число, чаще всего 1.
Для локализации выборки могут использоваться
базы из открытых источников (avito.ru и др.)
либо результаты предыдущих исследований.

Кейс. Осень 2013 года. Задача: опросить жителей
трёх районов Москвы (Капотня, Братеево,
Марьино). Требуется локализовать выборку.
Решение:
1. Опрос по стационарным телефонам.
2. Список всех жилых домов, расположенных на исследуемой
территории.
3. Из «старого» телефонного справочника выгружаются все номера
телефонов жителей этих домов.
4. Из Базы Потенциальных Респондентов (БПР) ФОМ выгружаются все
номера телефонов жителей этих домов.
5. Анализ ABC кодов полученных списков.
6. Генерация телефонных номеров в ABC диапазонах, охватывающих
исследуемую территорию.

Кейс
Решение:
1. Опрос по стационарным телефонам. Ok
2. Список всех жилых домов, расположенных на исследуемой территории. Ok - gorod.mos.ru
3. Из «старого» телефонного справочника выгружаются все номера телефонов жителей этих домов.
Учитываются замены телефонных номеров МГТС.
Найденная информация о заменах устаревшая. В МГТС сообщили, что
информация в обобщенном виде у них отсутствует, могут проверить
лишь отдельные номера.
В базе телефонных номеров есть телефоны жителей 443 жилых домов из
532 (83,3%), расположенных на территории трех районов:
Братеево – 88 из 95 92,6%
Марьино – 286 из 359 79,7%
Капотня – 69 из 78 88,5%

Кейс
Решение:
4. Из Базы Потенциальных Респондентов (БПР) ФОМ выгружаются все номера телефонов жителей
этих домов. Ok
5. Анализ ABC кодов полученных списков.
Марьино
АТС
База,
номеров
БПР,
номеров
495345 9574 93
495346 9668 123
495347 9299 17
495348 8445 88
495349 7990 71
495356 8127 36
495357 8431 27
499356 0 103
499357 0 88
Всего в этих АТС 61534 646
Всего в районе: 61641 731
Точность: 100% 88%
Братеево
АТС
База,
номеров
БПР,
номеров
495340 8195 42
495341 9464 55
495342 8919 79
Капотня
АТС
База,
номеров
БПР,
номеров
495355 7696 66
Диапазон 495356ХХХХ не существует по информации Россвязи от 1.11.2013. При звонке
на номера автоинформатор сообщает о смене кода на 499.
Диапазон 495357ХХХХ по информации Россвязи от 1.11.2013 принадлежит не МГТС, а
Телекоммуникационная компания ТЕЛ. При звонке на номера выдается сигнал занято
или ошибка.
Диапазон 4953559ХХХ по информации Россвязи от 1.11.2013 принадлежит "Газпром
связь".

Кейс
Решение:
6. Генерация телефонных номеров в ABC диапазонах, охватывающих исследуемую территорию.
Результаты:
Район
Всего жилых
домов
Попали в
выборку
Выборка,
респ.
Братеево 95 63 (66%) 151
Капотня 78 51 (65%) 159
Марьино 359 119 (33%) 209

Метод Митовски-Ваксберга
(Mitofsky, Waksberg)
Becker: наиболее часто используемый метод построения выборки в США.
Основан на выделении «100-кластеров» (100-banks) номера с отличными двумя
последними цифрами при совпадении всех остальных цифр
Becker, L. B., Corbu, N. And Qing, Q. "Using Voter Lists As Sampling Frames: Two Studies On Vote Choice And Turnout", In Corbu, N., Negrea, E. And Tudorie, G., Ed.,'Globalization And Changing Patterns In The
Public Sphere', International Conference On Globalization And Changing Patterns In The Public Sphere, Bucharest, Romania, Nov 12-13, 2010, Pp. 101-124.
Tucker C., Lepkowski J., Piekarski L. “List-Assisted Sampling: The Effect Of Telephone System Changes On Design”, Proceedings of the Annual Meeting of the American Statistical Association, August 5-9, 2001

Waksberg, J. "Sampling Methods For Random Digit Dialing," Journal Of The American Statistical Association (73:361), 1978, Pp. 40-46.
Mitofsky, W. "Sampling Of Telephone Household", Unpublished Cbs Memorandum, 1970.
Реализация:
1. По всем возможным префиксам для исследуемой территории строится перечень
всех возможных 100-кластеров.
2. Случайным образом с равной вероятностью отбирается определенное количество
кластеров.
3. Из каждого отобранного кластера случайным образом отбирается один
телефонный номер и включается в начальную выборку.
4. Проводится обзвон этой выборки. Его можно совместить с опросом.
5. Если телефонный номер определенного кластера принадлежит домохозяйству, то
кластер остается в выборке, иначе кластер выбрасывается из выборки.
6. В оставшихся в выборке кластерах проводится случайная генерация телефонных
номеров, включаемых в основную выборку.
7. Эти номера обзваниваются до тех пор, пока в каждом кластере не будет найдено
определенное заранее заданное количество телефонных номеров (k),
принадлежащих домохозяйствам.
8. Таким образом, в каждом отобранном кластере будет k+1 телефонов домохозяйств.

Особенности:
1. Отсутствует привязка к телефонным базам.
2. Вероятностная выборка.
3. Выборка является самовзвешивающейся. Вероятность отбора
одинакова для каждого телефонного номера домохозяйства.
4. Уменьшается доля несуществующих номеров в выборке.
5. Выборка является кластерной, следовательно, менее точной.
При расчётах статистической погрешности необходимо
учитывать дизайн-эффект (deff).
6. Возможность таргетировать узкие группы при условии их
географической локализации.
7. Сложность практической реализации.

Кластерные выборки на основе
населённых пунктов / районов
1. Строится выборка населённых пунктов (районов) по
аналогии с опросом по месту жительства.
2. В отобранных населённых пунктах (или районах)
строится выборка телефонных номеров.
Метод целесообразно использовать при отсутствии
информации о задействованных диапазонах на
исследуемой территории.
Нецелесообразно использовать при репрезентации
населения субъектов РФ или населения РФ в целом.
Метод реализует кластерную выборку, что увеличивает
погрешность.

Случайная ошибка. Вычисление среднего
n
s
ftyt dd
2
0 1)(var 


n
j
jy
n
y
1
1
n
s
fy
2
0 )1()(var 
Приведены формулы для простой случайной выборки. 𝑦- среднее значение величины y в
выборке, n - размер выборки, N - размер совокупности, 𝑦𝑗 - значение параметра y для случая j,∆ -
доверительный интервал, 𝑡 𝑑 - константа, зависящая от уровня доверия (1,96 для 95%), 𝑣𝑎𝑟0 𝑦 -
дисперсия оценки 𝑦, 𝑠2
- дисперсия элементов выборки по параметру y, f - выборочная доля.
N
n
f 

n
m
p 
Случайная ошибка. Вычисление доли
1
)1(
1



n
pp
ftd
Приведены формулы для простой случайной выборки. p – доля изучаемого признака в выборке,
n - размер выборки, 𝑚 – доля единиц в выборке, обладающих изучаемым признаком, 𝑣𝑎𝑟0 𝑝 -
дисперсия доли p, ∆ - доверительный интервал, 𝑡 𝑑 - константа, зависящая от уровня доверия
(1,96 для 95%), f - выборочная доля.
N
n
f 
1
)1(
)1()(var0



n
pp
fp

61
0
2
4
6
8
10
12
0 500 1000 1500 2000 2500
Зависимость доверительного интервала от объема
выборки n (p=0,5), п.п.
Случайная ошибка
13-15.05.2015 Тимур Османов

62
1,0
1,5
2,0
2,5
3,0
3,5
0% 20% 40% 60% 80% 100%
Зависимость доверительного интервала от доли
признака p (n=1000), п.п.
Случайная ошибка

Взвешивание данных (ремонт выборки)
• Компенсация неравной вероятности отбора
• Пост-стратификация (в т.ч. компенсация ошибок покрытия и неответов)
63
 

n
i
i
n
i
iiw wwyy
11
𝑦 𝑤- среднее значение величины y в выборке, 𝑛 - размер выборки, 𝑤𝑖 - вес i-го респондента, 𝑓𝑖 -
вероятность отбора i-го респондента, 𝑤 𝑘 - вес респондентов в группе k, 𝑛 𝑘 - число респондентов
в группе k, 𝑑 𝑘 - желаемая доля группы k в совокупности после взвешивания.
i
i
f
w
1

k
k
k d
n
n
w 

Взвешивание данных.
Влияние весов на дисперсию
64
2
1
1
2
)var()var(











n
i
i
n
i
i
w
w
wn
yy
𝑣𝑎𝑟(𝑦 𝑤
) – дисперсия взвешенного среднего величины y в выборке, 𝑣𝑎𝑟(𝑦) – дисперсия
невзвешенного среднего величины y в выборке, 𝑛 - размер выборки, 𝑤𝑖 - вес i-го респондента.
Веса считаются нормированными, если их сумма равна размеру выборки.
nw
n
i
i 1

Взвешивание данных
В результате применения взвешивания:
- Увеличивается погрешность выборки
(доверительный интервал).
- Уменьшаются некоторые диспропорции.
- Могут появиться новые неконтролируемые
смещения!
Решение об использовании взвешивания должно быть тщательно
обдуманным. Порой лучше пользоваться смещенными результатами,
не компенсируя это смещение взвешиванием.

Построение выборок мобильных телефонов
RDD выборка по задействованным DEF диапазонам.
Соотношение респондент – номер телефона?
Вероятность отбора:
Вес:
𝒑𝒊 =
𝐍моб
𝐍респ
𝒘𝒊 =
𝟏
𝒑𝒊

СКАЖИТЕ, ПОЖАЛУЙСТА, ВЫ ВСЕГДА ОДИН (ОДНА) ПОЛЬЗУЕТЕСЬ ЭТИМ
МОБИЛЬНЫМ ТЕЛЕФОНОМ, ИЛИ ИМ ПОЛЬЗУЕТСЯ НЕСКОЛЬКО ЧЕЛОВЕК?
ЕСЛИ НЕСКОЛЬКО, ТО СКОЛЬКО ИМЕННО?
1 2 3 4 5 Всего
СЕЙЧАС ВЫ ПОСТОЯННО (НЕ
РЕЖЕ РАЗА В НЕДЕЛЮ)
ПОЛЬЗУЕТЕСЬ ОДНИМ
НОМЕРОМ МОБИЛЬНОГО
ТЕЛЕФОНА, СИМ-КАРТОЙ ИЛИ
НЕСКОЛЬКИМИ? ЕСЛИ
НЕСКОЛЬКИМИ, ТО
СКОЛЬКИМИ ИМЕННО?
Одним 58% 4% 1% 1% 0% 65%
Двумя 23% 2% 1% 0% 0% 26%
Тремя 5% 1% 0% 0% 0% 6%
Четырьмя и
более 2% 0% 0% 0% 0% 2%
Затрудняюсь
ответить 1% 0% 0% 0% 0% 1%
Всего: 89% 7% 2% 2% 1% 100%
Особенности пользования мобильными телефонами в России.
Данные без взвешивания. Репрезентируются телефонные номера.
Телефонные опросы ФОМ ОМ по всероссийской двухосновной выборке номеров мобильных и стационарных телефонов, проведённых в период с
2013 по 2015 годы. Размер выборки 37000 респондентов. Опрос человека, взявшего трубку. 3-х кратные повторные звонки.

СКАЖИТЕ, ПОЖАЛУЙСТА, ВЫ ВСЕГДА ОДИН (ОДНА) ПОЛЬЗУЕТЕСЬ ЭТИМ
МОБИЛЬНЫМ ТЕЛЕФОНОМ, ИЛИ ИМ ПОЛЬЗУЕТСЯ НЕСКОЛЬКО ЧЕЛОВЕК?
ЕСЛИ НЕСКОЛЬКО, ТО СКОЛЬКО ИМЕННО?
1 2 3 4 5 Всего
СЕЙЧАС ВЫ ПОСТОЯННО (НЕ
РЕЖЕ РАЗА В НЕДЕЛЮ)
ПОЛЬЗУЕТЕСЬ ОДНИМ
НОМЕРОМ МОБИЛЬНОГО
ТЕЛЕФОНА, СИМ-КАРТОЙ ИЛИ
НЕСКОЛЬКИМИ? ЕСЛИ
НЕСКОЛЬКИМИ, ТО
СКОЛЬКИМИ ИМЕННО?
Одним 63% 8% 4% 4% 0% 79%
Двумя 12% 2% 1% 1% 0% 16%
Тремя 2% 0% 0% 0% 0% 3%
Четырьмя и
более 0% 0% 0% 0% 0% 1%
Затрудняюсь
ответить 1% 0% 0% 0% 0% 1%
Всего: 78% 11% 5% 5% 1% 100%
Особенности пользования мобильными телефонами в России.
Данные со взвешиванием. Репрезентируются респонденты.
Телефонные опросы ФОМ ОМ по всероссийской двухосновной выборке номеров мобильных и стационарных телефонов, проведённых в период с
2013 по 2015 годы. Размер выборки 37000 респондентов. Опрос человека, взявшего трубку. 3-х кратные повторные звонки.
p =
Nмоб
Nресп

0,7
0,72
0,74
0,76
0,78
0,8
0,82
Сейчас вы лично постоянно (не реже раза в неделю) для разговора
пользуетесь одним номером мобильного телефона, сим-картой или
несколькими? Если несколькими, то сколькими именно?
-Одним
Телефонные опросы ФОМ ОМ по всероссийской двухосновной выборке номеров мобильных и стационарных
телефонов. Размер выборки от 1000 до 1500 респондентов.

Построение выборок стационарных
телефонов
Под стационарным телефоном понимается
исключительно стационарный домашний телефон.
RDD выборка по задействованным ABC диапазонам.
Соотношение домохозяйство – номер телефона?
Вероятность отбора:
Вес:
𝒑𝒊 =
𝟏
𝐍респ
𝒘𝒊 =
𝟏
𝒑𝒊

Проблема прямых мобильных номеров.
Скажите, пожалуйста, мы сейчас с Вами
говорим по домашнему стационарному или
по мобильному телефону?
При звонке на ABC диапазон по 13% номерам
респонденты выбирают вариант «по
мобильному»
Возможная причина – наличие отбора
респондента по стационарному телефону.
телефонов

Отбор респондента в домохозяйстве:
• Карточки Киша
• День рождения
• Компьютерный отбор
• Квотный отбор
телефонов

Если число взрослых в домохозяйстве равно:
Код
карточки
1 2 3 4 5
6
и более
Выбирайте взрослого с порядковым номером:
1 2 2 3 4 4 Г
Если число взрослых в домохозяйстве равно:
Код
карточки
Пропорции
между
карточками
1 2 3 4 5
6
и более
Выбирайте взрослого с порядковым номером:
1 1 1 1 1 1 А 1/6
1 1 1 1 2 2 Б1 1/12
1 1 1 2 2 2 Б2 1/12
1 1 2 2 3 3 В 1/6
1 2 2 3 4 4 Г 1/6
1 2 3 3 3* 5 Д1 1/12
1 2 3 4 5* 5 Д2 1/12
1 2 3 4 5 6 Е 1/6
Отбор респондента в домохозяйстве. Карточки Киша

Если информант «один (одна) человек 18-ти лет и старше» в домохозяйстве, то он и опрашивается.
Если в домохозяйстве информанта проживают и находятся «Два человека 18-ти лет и старше», то
возможны два равновероятных варианта отбора, которые будут выведены интервьюеру на экран:
Компьютер отобрал Вас для опроса.
Компьютер отобрал для опроса не Вас а другого человека, проживающего и находящегося сейчас
дома с Вами.
Если в домохозяйстве информанта проживают и находятся «Три человека 18-ти лет и старше», то
возможны три равновероятных варианта отбора, которые будут выведены интервьюеру на экран:
Компьютер отобрал для опроса не Вас а старшего из двух других людей, проживающих с Вами и
находящихся сейчас дома.
Компьютер отобрал для опроса не Вас а младшего из двух других людей, проживающих с Вами и
Если в домохозяйстве информанта проживают и находятся «Четыре человека 18-ти лет и старше», то
возможны четыре равновероятных варианта отбора, которые будут выведены интервьюеру на экран:
Компьютер отобрал для опроса не Вас а младшего из трех других людей, проживающих с Вами и
Компьютер отобрал для опроса не Вас а старшего из трех других людей, проживающих с Вами и
Компьютер отобрал для опроса не Вас а среднего по возрасту из трех других людей,
проживающих с Вами и находящихся сейчас дома.
Если в домохозяйстве информанта проживают «Пять и более людей 18-ти лет и старше», то
опрашивается информант, отбор не происходит. Доля таких семей достаточно мала.
Отбор респондента в домохозяйстве. Компьютерный отбор
Kien T. Le, J. Michael Brick, Abdoulaye Diop, and Darwish Alemadi
Within-Household Sampling Conditioning on Household Size
Int J Public Opin Res first published online May 24, 2012 doi:10.1093/ijpor/eds008

Отбор респондента в домохозяйстве. Компьютерный отбор
Из всех опрошенных по
стационарным телефонам
респондентов лишь
8-10%
отличались от человека, который
взял трубку…

Отбор респондента в домохозяйстве. Компьютерный отбор.
Целесообразность отбора
информант
(n=9461)
другой человек
(n=974)
Пол респондента
мужской 24% 49%
женский 76% 51%
Возраст респондента
<= 24,00 3% 9%
25,00 - 28,00 9% 17%
29,00 - 33,00 9% 17%
34,00 - 38,00 4% 7%
39,00 - 44,00 24% 20%
45,00 - 50,00 30% 15%
51,00 - 55,00 3% 3%
56,00 - 61,00 5% 4%
62,00 - 70,00 6% 6%
71,00+ 6% 3%
телефонов, проведённых с 2013 по 2015 годы.

информант
(n=9461)
(n=974)
8000 руб. и менее
12% 12%
8001 - 12 000 руб.
26% 21%
12 001 - 20 000 руб.
23% 22%
20 001 - 30 000 руб.
11% 12%
свыше 30 000 руб.
10% 9%
в предыдущем месяце у
меня дохода не было 6% 7%
отказ от ответа 11% 14%
не знаю, затрудняюсь
ответить 1% 3%
Личный доход

Приходилось ли Вам лично пользоваться интернетом? Если да, то
когда Вы последний раз пользовались интернетом?
информант
(n=9461)
(n=974)
никогда не приходилось
пользоваться 35% 27%
в последние сутки 49% 55%
в последнюю неделю 8% 10%
в последний месяц 3% 4%
более месяца назад 4% 3%
затрудняюсь ответить 2% 2%

Какое у Вас образование?
информант
(n=9461)
(n=974)
неполное среднее или ниже
4% 5%
среднее общее (школа)
11% 16%
начальное профессиональное
(ПТУ, колледж, лицей и т.п.) 2% 3%
среднее специальное (ссуз,
техникум, медицинское училище
и т.п.)
38% 36%
незаконченное высшее
(обучение в вузе без получения
диплома)
4% 5%
высшее (диплом специалиста,
бакалавра, магистра и т.п.) 41% 34%

Отбор респондента в домохозяйстве. Квотный отбор

Особенности
1. Выборка перестаёт быть вероятностной.
Потенциал к неконтролируемым смещениям
по неквотируемым переменным.
2. Усложнение полевой части исследования.
Стимул к фальсификации.
3. Усилия интервьюеров идут на поиск
труднодоступных квотных групп. Доля таких
групп в выборке повышается.
4. Корректность задания квотных условий.
5. Данные можно не взвешивать по
квотируемым параметрам.

ДВУХОСНОВНАЯ ВЫБОРКА
МОБИЛЬНЫХ И СТАЦИОНАРНЫХ
ТЕЛЕФОНОВ

Двухосновные выборки

“there is no consensus on the best design
for dual frame surveys”
BOYLE, John M; LEWIS, Faith; TEFFT, Brian. Segmented or Overlapping Dual Frame Samples in
Telephone Surveys. Survey Practice, [S.l.], v. 3, n. 6, jul. 2013. ISSN 2168-0094. Available at:
<http://www.surveypractice.org/index.php/SurveyPractice/article/view/149>. Date accessed: 08
May. 2015.
“there is no consensus regarding how RDD
cell phone samples should be weighted,
especially when combining them with RDD
landline samples. As such, there also is no
consensus on exactly what survey items need
be asked of respondents to support this
process.”
2010 AAPOR Cell Phone Survey Task Force Report

Двухосновные выборки – непересекающийся
дизайн (segmented method)
Опрос по стационарным
Опрос по
мобильным

Характеристики исследуемой группы:
𝑁 – размер группы
𝑁моб - количество людей, у которых есть
только мобильный телефон
𝑁стац - количество людей, у которых есть
только стационарный телефон
𝑁оба - количество людей, у которых есть оба
телефона
дизайн

В непересекающемся дизайне
подразумевается, что 𝑁моб репрезентируются
выборкой по мобильным телефонам, а 𝑁стац
и 𝑁оба по стационарным телефонам.
Доля мобильных в выборке:
𝑁моб
𝑁
Для России сейчас в диапазоне от 52% (по данным
МегаФОМа 2014 года 60500 респондентов) до 61% (по данным Пенты
2015 года 1500 респондентов).
дизайн

1. Необходимость введения дополнительных
скрининговых вопросов, для исключения из
выборки по мобильным телефонам группы
респондентов, обладающих стационарными
телефонами. Следовательно, удорожание опроса.
2. Понятная процедура взвешивания, поскольку
выборки не пересекаются. Каждая из выборок
взвешивается отдельно.
3. Действительно ли ответы людей, у которых оба
телефона, не будут зависеть от типа телефона по
которому их опрашивали?
дизайн

Разница в ответах по мобильным и
Разделение выборки на 4 группы:
Есть только мобильный
Есть оба, опрос по мобильному
Есть оба, опрос по стационарному
Есть только стационарный
Анализируются данные всероссийских телефонных опросов ФОМа по
RDD двухосновной выборке, проведённых в период 2013-2015 годов,
взвешивание, компенсирующее разную вероятность отбора.

Есть только
мобильный
(n=17386)
Есть оба, опрос
по мобильному
(n=8490)
по
стационарному
(n=8599)
стационарный
(n=2583)
Пол респондента
мужской 48% 47% 27% 25%
женский
52% 53% 73% 75%
Возраст респондента
<= 24,00
12% 8% 5% 3%
25,00 - 28,00
26% 21% 10% 5%
29,00 - 33,00
10% 11% 10% 10%
34,00 - 38,00
9% 7% 5% 2%
39,00 - 44,00
23% 22% 24% 7%
45,00 - 50,00
10% 16% 25% 37%
51,00 - 55,00
3% 5% 4% 3%
56,00 - 61,00
3% 5% 5% 6%
62,00 - 70,00
2% 4% 7% 10%
71,00+
1% 2% 5% 18%

мобильный
(n=10121)
(n=5043)
по
(n=5043)
(n=1528)
8000 руб. и менее
14% 10% 12% 21%
8 001 - 12 000 руб.
13% 15% 23% 36%
12 001 - 20 000 руб.
21% 21% 23% 19%
20 001 - 30 000 руб.
14% 15% 12% 3%
свыше 30 000 руб.
15% 20% 10% 3%
в предыдущем месяце у меня дохода
не было 10% 7% 7% 7%
отказ от ответа
10% 11% 11% 10%
не знаю, затрудняюсь ответить
2% 1% 2% 2%

Считаете ли Вы себя верующим
человеком? И если да, то к какому
вероисповеданию (конфессии) Вы
себя относите?
мобильный
(n=2347)
(n=1176)
по
(n=1121)
(n=410)
не считаю себя верующим человеком
18% 18% 17% 16%
православие
65% 69% 71% 78%
другие христианские конфессии
(католики, протестанты, униаты,
баптисты и др.)
3% 3% 2% 1%
ислам
8% 3% 3% 2%
другие религии
2% 1% 1%
затрудняюсь ответить, не могу назвать
определённую конфессию 5% 6% 6% 3%

Какое у Вас семейное положение?
Вы женаты (замужем), не женаты (не
замужем) или разведены?
мобильный
(n=971)
(n=445)
по
(n=490)
(n=145)
женат (замужем)
57% 66% 59% 43%
не женат (не замужем)
26% 19% 15% 18%
разведен(-а)
9% 8% 8% 3%
вдовец(вдова)
7% 7% 18% 33%
0% 0% 2%

Тип населенного пункта
мобильный
(n=17369)
(n=8491)
по
(n=8599)
(n=2584)
более 1 млн
16% 26% 22% 19%
от 500 тыс до 1 млн
12% 14% 11% 11%
от 250 до 500 тыс
12% 12% 10% 9%
11% 10% 10% 8%
8% 8% 9% 8%
менее 50 тыс
12% 11% 14% 12%
пгт
4% 3% 4% 3%
село
24% 14% 18% 29%
нет данных
2% 1% 1% 1%

Приходилось ли Вам лично
пользоваться интернетом? Если да,
то когда Вы последний раз
пользовались интернетом?
мобильный
(n=17366)
(n=8491)
по
(n=8598)
(n=2583)
никогда не приходилось пользоваться
21% 19% 30% 76%
в последние сутки
59% 65% 53% 13%
в последнюю неделю
9% 9% 8% 3%
в последний месяц
5% 3% 3% 2%
более месяца назад
4% 3% 4% 2%
1% 1% 1% 5%

Какое у Вас образование?
мобильный
(n=17354)
(n=8481)
по
(n=8589)
(n=2575)
неполное среднее или ниже
4% 2% 3% 15%
среднее общее (школа)
17% 11% 11% 18%
начальное профессиональное (ПТУ,
колледж, лицей и т.п.) 3% 2% 2% 4%
среднее специальное (ссуз, техникум,
медицинское училище и т.п.) 36% 34% 37% 39%
незаконченное высшее (обучение в вузе
без получения диплома) 7% 6% 4% 2%
высшее (диплом специалиста,
бакалавра, магистра и т.п.) 32% 45% 41% 22%

BOYLE, John M; LEWIS, Faith; TEFFT, Brian. Segmented or Overlapping Dual Frame Samples in Telephone Surveys. Survey Practice, [S.l.], v. 3, n. 6,
jul. 2013. ISSN 2168-0094.
Available at: <http://www.surveypractice.org/index.php/SurveyPractice/article/view/149>. Date accessed: 08 May. 2015.
Разница в ответах по мобильным и стационарным телефонам в США

jul. 2013. ISSN 2168-0094.

13-15.05.2015 Тимур Османов 100
jul. 2013. ISSN 2168-0094.

3. Действительно ли ответы людей, у которых
оба телефона, не будут зависеть от типа
телефона по которому их опрашивали?
Такая зависимость наблюдается
Непересекающийся дизайн некорректно
репрезентирует группу респондентов, обладающих
двумя типами телефонов.
13-15.05.2015 Тимур Османов 101
дизайн

13-15.05.2015 Тимур Османов 102
Двухосновные выборки – пересекающийся
дизайн (overlap method)
Опрос по стационарным
Опрос по мобильным

13-15.05.2015 Тимур Османов 103
дизайн
Какая доля мобильных
номеров в выборке?
Как взвешивать данные?

13-15.05.2015 Тимур Османов 104
“there is no consensus on the best design
for dual frame surveys”
BOYLE, John M; LEWIS, Faith; TEFFT, Brian. Segmented or Overlapping Dual Frame Samples in
Telephone Surveys. Survey Practice, [S.l.], v. 3, n. 6, jul. 2013. ISSN 2168-0094. Available at:
<http://www.surveypractice.org/index.php/SurveyPractice/article/view/149>. Date accessed: 08
May. 2015.
“there is no consensus regarding how RDD
cell phone samples should be weighted,
especially when combining them with RDD
landline samples. As such, there also is no
consensus on exactly what survey items need
be asked of respondents to support this
process.”
2010 AAPOR Cell Phone Survey Task Force Report

Один из подходов к взвешиванию.
1. Каждая из основ взвешивается независимо.
2. Компенсируется вероятность отбора телефонного номера из основы
выборки. Adjust for Sample selection probability.
3. Компенсируются случаи, по которым не известно, удовлетворяют ли они
условиям отбора. Adjust for Undetermined Eligibility.
4. Компенсируются неответы. Adjust for Nonresponse.
5. Компенсируется различное количество телефонов у респондентов.
Adjust for Multiplicity Due to Multiple Phones.
6. Компенсируется различное количество людей, пользующихся одним
телефоном. Adjust for Respondent Selection Probability.
7. Компенсируется завышенная вероятность отбора респондентов,
попадающих в обе основы. Adjustment for Frame Overlap.
При такой процедуре взвешивания доля мобильных телефонов в выборке
может быть любой.
13-15.05.2015 Тимур Османов 105
дизайн

Один из подходов к взвешиванию.
7. Компенсируется завышенная вероятность отбора респондентов,
попадающих в обе основы. Adjustment for Frame Overlap.
𝑌 𝜃 = 𝑌𝑎
𝐴
+ 𝜃𝑌𝑎𝑏
𝐴
+ (1 − 𝜃)𝑌𝑎𝑏
𝐵
+ 𝑌𝑏
𝐵
Hartley, H.O. (1962) Multiple Frame Surveys. Proceeding of the Social Statistics Section, 203-206.
American Statistical Association, Alexandria, VA.
𝜃 – композиционный фактор (compositing factor)
Чаще всего, 𝜃=0,5. Существуют формулы оптимизирующие 𝜃 под различные
условия: минимизация ошибок неответов, минимизации дисперсии и др.
13-15.05.2015 Тимур Османов 106
дизайн

В США разные исследовательские компании используют различные подходы
к взвешиванию и включают в выборку различную долю мобильных номеров.
Однако по ключевым параметрам результаты их исследований сходятся.
(Courtney Kennedy, Stas Kolenikov, Weighting Approaches for Dual Frame RDD Surveys, AAPOR Webinar, October 2012.)
Доля мобильных телефонов в выборке определяется экспертно. В январе
2014 года большинство компаний в США использовали соотношение 50/50.
Однако, по утверждению David Dutwin, доля мобильных должна доходить
до 80%. Причина занижения этой доли – инертность рынка («because we
will just make people nervous»). Его прогноз: ежегодно доля мобильных
будет расти на 10 п.п. до 80%.
(David Dutwin, Cellular Telephone Methodology: Present and Future, AAPOR Webinar, January 2014.)
13-15.05.2015 Тимур Османов 107
дизайн

13-15.05.2015 Тимур Османов 108
дизайн. Доля мобильных
Опрос
мобильный
Есть оба
телефона
Пента 2015 61% 34% 5%
МегаФОМ 2014 52% 44% 4%
В настоящий момент доля мобильных телефонов во
всероссийских опросах ФОМа составляет 63%.
Эта доля не менялась с 2012 года.

13-15.05.2015 Тимур Османов 109
Сколько человек 18 лет и старше, включая
Вас, проживает вместе с Вами в Вашей
семье?
Есть ли у Вас личный мобильный телефон?
Скажите, пожалуйста, вы всегда один (одна)
пользуетесь этим мобильным телефоном,
или им пользуется несколько человек? Если
несколько, то сколько именно?
Сейчас вы лично постоянно (не реже раза в
неделю) для разговора пользуетесь одним
номером мобильного телефона, сим-картой
или несколькими? Если несколькими, то
сколькими именно?
Есть ли у Вас стационарный домашний
телефон?
Размер домохозяйства
Стац.
Моб.
Пользователи моб.
Количество моб.

13-15.05.2015 Тимур Османов 110
Вероятность отбора = Моб.×
Количество моб.
Пользователи моб.
+ Стац.×
1
Размер домохозяйства
Вес =
1
Вероятность отбора

13-15.05.2015 Тимур Османов 111
Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в период с апреля по декабрь 2013 года. Всего 17208 полных интервью.
Всероссийский ftf опрос ФОМнибус проводился 20-23 февраля 2014 года. Выборка 3000 респондентов. Погрешность не превышает 2,5 п.п.
50,5
47,2
38,8
44,4
45,5
58,0
5,1
7,4
3,2
Опрос ftf
Телефонный опрос
выравнивается
вероятность отбора
Телефонный опрос
без взвешивания
только мобильный мобильный и стационарный только стационарный

13-15.05.2015 Тимур Османов 112
После компенсирования различной вероятности отбора
проходит процедура постстратификации для приведения
распределений по полу-возрасту и уровню образования к
данным Росстата. Ниже в таблицах данные до постстратификации:
Источник муж 18-24 муж 25-54
муж 55 и
старше
жен 18-24 жен 25-54
жен 55 и
старше
Росстат на 01.01.2013 6% 27% 12% 6% 29% 20%
Опросы 2013 года (n=17208) 6% 27% 8% 6% 32% 21%
Опросы 2014 года (n=19459) 6% 27% 9% 6% 31% 22%
Опросы 2015 года (n=2035) 5% 28% 10% 3% 31% 23%
Источник
нет
высшего
высшее,
неоконченное
высшее
Росстат, Перепись 2010 72% 28%
Росстат, Экспертная поправка 67% 33%
Опросы 2013 года (n=17208) 58% 42%
Опросы 2014 года (n=19459) 57% 42%
Опросы 2015 года (n=2035) 58% 42%

13-15.05.2015 Тимур Османов 113
Соображение 0: Представленная формула для расчёта весов,
компенсирующих различную вероятность отбора,
справедлива при равной вероятности отбора мобильных и
стационарных телефонов представителей целевой группы.
При доле мобильных в 63%, вероятность отбора по
мобильным телефонам занижена.
Диапазон
Общая ёмкость,
Росссвязь на
01.04.2015
Оценка количества
существующих
номеров
Оценка количества
номеров,
принадлежащих
целевой группе
ABC 115 115 680 (18%) 67 918 251 (18%) 57 051 331 (17%)
DEF 536 082 980 (82%) 310 928 128 (82%) 276 726 034 (83%)

13-15.05.2015 Тимур Османов 114
Соображение 1: Минимизация корня из суммы квадратов
отклонений распределения выборки по возрасту.
возраст мобильные стационарные статистика 18+
<= 23 11% 4% 11%
24 - 27 11% 5% 10%
28 - 32 14% 7% 10%
33 - 38 14% 9% 11%
39 - 44 11% 10% 9%
45 - 50 9% 10% 10%
51 - 55 9% 9% 10%
56 - 61 9% 13% 10%
62 - 70 8% 17% 9%
71+ 3% 17% 10%
Данные всероссийских телефонных опросов ФОМа по RDD двухосновной выборке, проведённых в период 2014-2015 годов

13-15.05.2015 Тимур Османов 115
Метод “Поиск Решений” в Excel.
Оптимальная доля мобильных – 64%.
1,0%
3,0%
5,0%
7,0%
9,0%
11,0%
13,0%
15,0%
0% 20% 40% 60% 80% 100%
Зависимость корня из суммы квадратов отклонений от доли мобильных в выборке

13-15.05.2015 Тимур Османов 116
Соображение 2: Инертность опросных
компаний.
Сопоставление результатов
• CATI опроса ФОМ ОМ, репрезентирующего
население России (данные с весами на
половозрастную структуру);
• PAPI опроса по всероссийской выборке Пенты
(квотируется по полу возрасту и образованию)
За период с 03.2013 по 04.2014. Использовались
данные Пенты лишь в тех неделях, когда
параллельно шел всероссийский телефонный
опрос.

13-15.05.2015 Тимур Османов 117
0%
2%
4%
6%
8%
10%
12%
14%
16%
CATI
PAPI
CATI PAPI
в предыдущем месяце у меня
дохода не было 8% 13%
отказ от ответа 10% 8%
не знаю, затрудняюсь ответить 2% 1%

13-15.05.2015 Тимур Османов 118
0%
5%
10%
15%
20%
25%
30%
35%
2001-9000 9001-12000 12001-20000 20001-30000 свыше 30000
CATI
PAPI

13-15.05.2015 Тимур Османов 119
Уровень образования
0%
5%
10%
15%
20%
25%
30%
35%
40%
неполное среднее
или ниже
среднее общее начальное
профессиональное
среднее специальное незаконченное
высшее
высшее
CATI
PAPI
Росстат

13-15.05.2015 Тимур Османов 120
Пользование интернетом
0%
10%
20%
30%
40%
50%
60%
никогда не приходилось
пользоваться
в последние сутки в последнюю неделю более недели назад затрудняюсь ответить
CATI
PAPI

13-15.05.2015 Тимур Османов 121
Тип населённого пункта
0%
5%
10%
15%
20%
25%
30%
более 1 млн от 500 тыс до 1
млн
от 250 до 500
тыс
от 100 до 250
тыс
от 50 до 100 тыс менее 50 тыс пгт село
CATI
PAPI
Росстат

13-15.05.2015 Тимур Османов 122
Увеличение доли мобильных приведёт к ещё
большим расхождениям между
поквартирными и телефонными опросами по
параметрам уровень образования,
пользование интернетом, уровень дохода.

ОШИБКА НЕОТВЕТОВ
13-15.05.2015 Тимур Османов 123

Логика работы интервьюеров
124
Ошибки неответов в телефонном
опросе
Дозвонились
(взяли трубку)
• Техническая достижимость
Согласие на
опрос
• Результат контакта с
отобранным
респондентом
Завершенное
интервью
•Доведение
интервью
до конца

Ошибки неответов
Технический результат дозвона:
125
Результат дозвона*: Стац. Моб.
Дозвонились 18% 17%
Занято 10% 4%
Неверный номер 35% 34%
Нет ответа 31% 36%
Ошибка при звонке 6% 8%
Анализ телефонных опросов ФОМ, проведенных в период с августа 2013 года по февраль 2014 года.
Всего 680000 телефонных номеров, задействованных в различных проектах.
* Под результатом дозвона понимается результат последнего звонка на телефонный номер.

Звонок на
телефонный
номер
34,0%
Неверный
номер
17,0%
33,2% Нет
ответа
3,7%
2,0% Занято
8,5%
Неверный
номер
14,7% Нет
ответа
1,1%
0,8% Занято
3,1%
Неверный
номер
6,6% Нет
ответа
1,1% Ошибка
2,8% Ошибка
7,9% Занято
0,7%
2,3% Занято
1,5%
Неверный
номер
2,5% Нет
ответа
0,9% Ошибка
7,9% Ошибка
0,4%
0,7% Занято
2,7%
Неверный
номер
2,6% Нет
ответа
1,4% Ошибка
Результативность звонков.
13-15.05.2015 Тимур Османов 126

127
Устойчивость результата дозвона по одному и тому же номеру телефона
в различных опросах
Мобильный телефон
Звонок 2
Случаев:
Дозвонились Занято
Неверный
номер
Нет ответа
Ошибка при
звонке
Звонок1
Дозвонились 53% 3% 6% 37% 2% 6205
Занято 9% 18% 36% 31% 6% 1528
Неверный номер 2% 4% 59% 31% 4% 12277
Нет ответа 14% 4% 26% 51% 5% 12607
Ошибка при звонке 24% 3% 11% 31% 31%
1522
Устойчивость 52%
Стационарный телефон
Звонок 2
Случаев:
Дозвонились Занято
Неверный
номер
Нет ответа
Ошибка при
звонке
Звонок1
Дозвонились 71% 2% 3% 23% 1% 1908
Занято 4% 65% 11% 17% 2% 1695
Неверный номер 2% 4% 79% 12% 3% 2850
Нет ответа 17% 6% 13% 60% 4% 3107
Ошибка при звонке 7% 15% 31% 27% 20%
424

Результат взаимодействия с респондентом:
128
Моб. Стац.
полное интервью 27% 18%
отказ 42% 48%
моложе 18 лет 4% 4%
прерванное интервью 7% 4%
вне целевой группы 7% 12%
другое 13% 16%
Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в
период с апреля по декабрь 2013 года. Всего 17208 полных интервью

129
Мобильный телефон
Звонок 2
Случаев:полное
интервью
отказ
моложе 18
лет
прерв.
интервью
вне целевой
группы
другое
Звонок1
полное интервью 37% 34% 2% 4% 4% 18% 1489
отказ 13% 62% 2% 4% 7% 12% 2153
моложе 18 лет 9% 24% 48% 3% 6% 10% 185
прерванное интервью 18% 49% 3% 5% 8% 17% 237
вне целевой группы 15% 40% 3% 4% 26% 12% 388
другое 24% 44% 1% 5% 6% 19% 572
Стационарный телефон
Звонок 2
Случаев:полное
интервью
отказ
моложе 18
лет
прерв.
интервью
вне целевой
группы
другое
Звонок1
полное интервью 25% 44% 4% 4% 5% 19% 879
отказ 9% 65% 3% 2% 7% 13% 1887
моложе 18 лет 14% 34% 26% 3% 5% 17% 149
прерванное интервью 13% 60% 4% 9% 5% 9% 128
вне целевой группы 7% 26% 2% 1% 58% 6% 410
другое 19% 46% 3% 3% 6% 23% 593
Устойчивость результата взаимодействия с респондентом по одному и
тому же номеру телефона в различных опросах

Приводит ли высокая доля отказов к
увеличению ошибки неответов?
Отличаются ли отказывающиеся от опросов
люди от тех, кто соглашается отвечать на
вопросы анкеты?
13-15.05.2015 Тимур Османов 130

вебинар османов

Recommended

Recommended

More Related Content

More from Timur Osmanov

More from Timur Osmanov (6)

вебинар османов