Выступление Аале Рооса на III Всероссийской конференции itSMF.

1. Искусство проводить опросы
13 сентября, 2012
Аале Роос / Aale Roos
www.pohjoisviitta.fi
@aalem

2. Зачем проводят опросы?
• Нужна информация для
принятия решений
• Нужна информация о
субъективной оценке
– например, только
потребители знают, что они
думают о качестве услуг
• А не для того, чтобы
проводить опросы

3. Что мы пытаемся узнать?
• Какова цель?
• Что мы собираемся делать с
полученной информацией?
• А нельзя просто померить?
• Нельзя? Тогда кто знает ответы?
• А вопросы они понимают?
• И нам скажут?
• И не соврут?

4. Как собирать данные?
• Бумажные формы
– Почта России
– Аудитория, не способная
отказаться
• Email
• Web/Intranet
• Social Media
• Интервью
– Очные интервью
• Сложные вопросы
• Важные собеседники
– Телефонные опросы
– Чат(ы)
– Групповые очные интервью

5. Отбор ответов
• Случайная
выборка
• Группы
• Избранное
• Число ответов

6. Опрос при закрытии обращений
5
4.5
4
3.5
3
2.5
2
1.5
1
no problem did not contact support did not solved by support
support solve
Проблем Не обращались Поддержка не Поддержка
не было в поддержку помогла помогла

7. Какие бывают вопросы
• Общее впечатление • Согласен – Не согласен
– Вам нравится эта – Все доклады должны
конференция? быть на русском
– Вы бы посоветовали – Больше иноземных
её посетить? докладчиков!
• Подробности • Открытые вопросы
– Оцените помещения – Что понравилось вам
– презентации больше всего?
– температуру
– питание
– напитки
– …

8. Какие бывают шкалы
• 5 Оччень хорошо • 1 полностью согласен -
• 4 Хорошо 5 (или 7) так же
• 3 Средненько полностью не согласен
• 2 Слабенько
• 1 Вообще плохо • 1 кратко
• 2 коротковато
• 7 Волшебно – 1 Ужасно • 3 в самый раз
• 10 Волшебно – 1 Ужасно • 4 длинновато
• 5 длинннно

9. Как измерить важность
• Что для вас важно при • Рейтинг важного
выборе автомобиля? – 75% внешний вид
– безопасность – 15% удобство
– Экологичность (или это обслуживания
стабильность?) – 5% мощность
– Выбросы – 3% безопасность
– Вешний вид – 2 % выбросы
– Удобство обслуживания – 0 % Экологичность (или
– Мощность это стабильность?)
• =>Да всё важно! • Можно этому верить?
1. Цена и соответствие
возможностям?
2. Статус?

10. Открытые вопросы или списки
• Какие ИТ-системы для • Что из этого для вас
вас важнее всего? важнее?
– Локальные сети
– Серверы
– ERP
– Windows 7
– Проводник
– …
Если у вас есть список – у вас есть ТОЛЬКО список.
А еще респонденты могут вас не понять.

11. АНАЛИЗИРУЕМ ЭТО

12. …но сначала проверяем
• Garbage In – Garbage Out
• Проверьте качество данных
• Экстраординарные
результаты часто являются
признаком некачественных
данных

13. Классификация
• Не делайте то, чего не
нужно
• Не спрашивайте о
том, что знаете
• Удобно
классифицировать
предварительно

14. Корреляции ответов
• Отдельные ответы не
40
30
очень интересны 20
10
0
Do changes cause excellent good satisfactory not bad
satisfactory
disruptions in your service?
excellent 7
good 29
satisfactory 35
not satisfactory 11
dont know
bad 2
no
deficient
Do you have a FSC? yes
dont know 3
no 13
deficient 37
yes 31

15. Две большие разницы!
100%
Оказывается, использование FSC 90%
влияет на наносимый изменениями 80%
вред! Или пользу.
70%
60%
no deficient yes bad
excellent 0 3 4 not good
50%
good 4 8 16 satisfactory
satisfactory 5 19 9 40% good
not good 3 6 2 excellent
bad 1 1 0 30%
20%
10%
0%
no deficient yes

16. Анализируйте и корреляции тоже!
• Число возможных комбинаций
N*(N-1)/2
• 3 вопроса: 3*2/2=3
• 10 вопросов: 10*9/2=45
• 35 вопросов: 35*34/2=595
• Можно анализировать и в трех измерениях!

17. Анализ открытых вопросов…
Site What could be improved in our service?
They are not friendly on the phone and they do not
Moscow send the materials
St Petersburg Customer database is slow
Moscow They never answer the phone
Moscow Ivan is rude and did not send new battery
Moscow There is no support after 8 PM
I was promised a new mouse next day but I am
Moscow still waiting for it.
They are good at technology but it is so difficult to
Moscow get them doing anything
Moscow I had to wait a week for a new printer cartridge
St Petersburg It takes so long to update address information
St Petersburg Sometimes enetered data vanishes
St Petersburg CRM does not answer
Connection problems to headquarters but the SD
St Petersburg refuses to help

18. …может быть непростым делом
Site What could be improved in our service? class1 class2
They are not friendly on the phone and they do not
Moscow send the materials SD delivery
St Petersburg Customer database is slow connection
Moscow They never answer the phone SD
Moscow Ivan is rude and did not send new battery SD delivery
Moscow There is no support after 8 PM service hours
I was promised a new mouse next day but I am
Moscow still waiting for it. delivery
They are good at technology but it is so difficult to
Moscow get them doing anything SD
Moscow I had to wait a week for a new printer cartridge delivery
St Petersburg It takes so long to update address information connection
St Petersburg Sometimes enetered data vanishes connection
St Petersburg CRM does not answer connection
Connection problems to headquarters but the SD
St Petersburg refuses to help connection SD

19. …но полезным
service hours
SD
Moscow
St Petersburg
delivery
connection
0 1 2 3 4 5 6

20. ПАРА ПРИМЕРОВ

21. Простейший опрос

22. Качество услуг
Доля «рынка»
Компетенция
Потери

24. ФОРМИРОВАНИЕ ОТЧЁТОВ

25. Автоматически сформированная шкала
• Общая
3.5
удовлетворённость 3
(шкала от 1 до 5) 2.5
• Вроде всё в 2
порядке, да? 1.5
1
0.5
А что это тут у нас???
0
Moscow St Minsk Odessa Vladivostok
Petersburg

26. Драматически сформированная шкала
• Общая
3.35
удовлетворённость 3.3
(шкала от 1 до 5) 3.25
• Теперь налицо 3.2
существенные 3.15
различия 3.1
3.05
3
2.95
Moscow St Minsk Odessa Vladivostok
Petersburg

27. 3D
• Общая 3.3
удовлетворённость 3.25
(шкала от 1 до 5) 3.2
• В 3D стало понятнее? 3.15
3.1
3.05
3
2.95

28. Реальные результаты
• Общая
5
удовлетворённость 4.5
(шкала от 1 до 5) 4
• Всё примерно 3.5
одинаково 3
2.5
2
1.5
1
Moscow St Petersburg Minsk Odessa Vladivostok

29. Общие правила
• Секторные диаграммы
5
для демонстрации 4.5
вклада в общий 4
результат 3.5
• Столбики для 3
сравнения значений 2.5
• Графики или точки для 2
шкал 1.5
1
Moscow St Petersburg Minsk Odessa Vladivostok

30. Оценка долей
1600
1400
1200
1000
800 solved
tried
600
400
200
0
sd self colleague super user other

31. Так ведь лучше?
1800
1600
1400
1200
1000
tried
800 solved
600
400
200
0
sd self colleague super user other

32. А так – гораздо информативнее
Попытки Успехи
100%
90%
80%
70%
sd 60%
self
50% tried
colleague
solved
super user 40%
other
30%
20%
10%
0%
sd self colleague super user other

33. Итак,
• Спрашивайте только о том, что знают
респонденты
• Не задавайте слишком много вопросов
• Проверяйте качество данных
• Анализируйте
• Подробности можно найти здесь:
– http://3qsm.wordpress.com/
– http://www.realitsm.ru/2012/03/three-questions-
survey/