Математический аппарат в UX. Как проверять гипотезы на статистических данныхПрофсоUX
Доклад рассчитан на опытных проектировщиков, которым необходимо подтверждать свои решения фактами.
Доклад направлен на проверку достоверности гипотез по статистическим данным. Я расскажк, какие данные можно собрать и посчитать, какие бывают статистические методы и как их выбирать в зависимости от целей эксперимента и количества участников. Как пользоваться формулами для расчета и как интерпретировать результаты расчетов.
На небольших примерах покажу как, имея две маленьких группы респондентов, подтвердить наличие различий во взаимодействии с интерфейсом (время, скорость реакции и пр.) и быть уверенным, что это различие действительно существует.
Математический аппарат в UX. Как проверять гипотезы на статистических данныхПрофсоUX
Доклад рассчитан на опытных проектировщиков, которым необходимо подтверждать свои решения фактами.
Доклад направлен на проверку достоверности гипотез по статистическим данным. Я расскажк, какие данные можно собрать и посчитать, какие бывают статистические методы и как их выбирать в зависимости от целей эксперимента и количества участников. Как пользоваться формулами для расчета и как интерпретировать результаты расчетов.
На небольших примерах покажу как, имея две маленьких группы респондентов, подтвердить наличие различий во взаимодействии с интерфейсом (время, скорость реакции и пр.) и быть уверенным, что это различие действительно существует.
Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"Vladimir Leonenko
Дорогие читатели!
Представляю вашему вниманию конспект книги Т. Дэвенпорта и К. Джин Хо "О чём говорят цифры. Как понимать и использовать данные".
Пока выбрал следующий формат: "схлопнуть" книгу до основных тезисов и мыслей. Надеюсь вам будет интересно.
В любом случае, мне важно получить вашу обратную связь - что положительную, что отрицательную.
Мастер-классы по HR-аналитике в Алматы
http://www.elearningkz.org/
Совместный проект Студии e-Learning и Международной Академии Психологических наук в Казахстане
Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"Vladimir Leonenko
Дорогие читатели!
Представляю вашему вниманию конспект книги Т. Дэвенпорта и К. Джин Хо "О чём говорят цифры. Как понимать и использовать данные".
Пока выбрал следующий формат: "схлопнуть" книгу до основных тезисов и мыслей. Надеюсь вам будет интересно.
В любом случае, мне важно получить вашу обратную связь - что положительную, что отрицательную.
Мастер-классы по HR-аналитике в Алматы
http://www.elearningkz.org/
Совместный проект Студии e-Learning и Международной Академии Психологических наук в Казахстане
Each month, join us as we highlight and discuss hot topics ranging from the future of higher education to wearable technology, best productivity hacks and secrets to hiring top talent. Upload your SlideShares, and share your expertise with the world!
Not sure what to share on SlideShare?
SlideShares that inform, inspire and educate attract the most views. Beyond that, ideas for what you can upload are limitless. We’ve selected a few popular examples to get your creative juices flowing.
прогноз эффективности кандидатов на основе тестовEdward Babushkin
Семинар BigData для HR-директоров, Москва, 18.12. 2015
http://edwvb.blogspot.ru/2015/09/seminar-bigdata-dlja-hr-direktora-moskva.html
Семинар - практикум "Аналитика для HR", 01-02 марта 2016 г., г Москва
http://edwvb.blogspot.ru/2015/06/seminar---praktikum-analitika-dlja-hr.html
Предварительные результаты адаптации русскоязычной версии инструмента для получения обратной связи от клиентов в психологическом консультировании. Статья в журнале Консультативная психология и психотерапия, 2013 №3.
Как проверять свои идеи и быть уверенным, что ваш продукт получится хорошим?Sciencehit.by
Никита Зенченко, опытный UX-дизайнер дизайнер «Эпам Системз» расскажет кратко, но по сути (“lifehacks”) о базовых методах тестирования, проведении и подготовки исследований и оценке полученного результата. Актуально для научных проектов!
- Обзор методов тестирования с привлечением пользователей и без них
- Рекомендации по подготовке и проведению исследований
- Нюансы оценки результатов и получение правильных выводов
---
В рамках проведения «Научного Хакатона» мы приглашаем вас на митапы, где будут проводиться обучающие и консультационные сессии под руководством экспертов в области науки, бизнеса и ИТ.
У вас будет возможность обсудить задачи, получить экспертную помощь, объявить о вакантных местах в команде и не только.
Присоединяйтесь и решайте научные задачи командами!
Cайт: http://sciencehit.by/hackathon
Регистрация в команды: https://sciencehit.timepad.ru/event/462869/
Группа в fb: https://www.facebook.com/groups/scihackathon/?ref=bookmarks
Группа в vk: https://vk.com/event141357156
1-Sample t-test или одновыборочный t-тест – это тест гипотезы, который на основе анализа небольшой выборки позволяет заключить о равенстве среднего значения популяции некоему определенному значению.
2. Правила игры
• Время – 1 час 30 мин
• 2 части
• 1) методически – лирическая
• 2) статистические критерии: три критерия в кейсах
• В промежутках - вопросы
3. Цели семинара
Участник:
1) поймет, в чем поймет цели применения
статистических методов в практике HR
«С вычислением среднего анализ не заканчивается, а
только начинается»
2) определит для себя класс задач, которые можно
решать с помощью статистики
3) возьмет описанные инструменты на вебинаре
4. Области применения
• HR – метрики
• Отчеты
• Опросы и исследования
• Данные оценки (тесты, компетенции, KPI)
• Roi
• Бенчмаркинг
6. Среднее арифметическое
1.00
0.89
0.90
0.80
0.79
0.70
0.60
0.50
0.40
0.30
1 2
Для аналитика в этом месте начинается работа, для остальных -
заканчивается
7. Таблицы
Иванов 1 0,7
Петров 2 0,8
Сидоров 1 0,8
Иванов 2 0,5
Петров 1 0,6
Сидоров 2 0,9
8. Возможные кейсы
Сравнение:
• Группы «лучших» и «средних» в оценке персонала по
результатам работы (например показаны результаты
работы прошедших ассессмент центр)
• Прошедших обучение и контрольных групп в Roi
• Оценка двух разных показателей одними и теми же
сотрудниками (например в анкете удовлетворенности)
• Оценка подчиненными руководителя по двум разным
шкалам
• Данные по уровню зарплаты разных регионов
• Результаты тестов/анкеты ДО и ПОСЛЕ обучения/евента
одной группы
9. Гистограммы
9
8
7
6
5
4
3
2
1
0
0.5 0.6 0.7 0.8 0.9 1
24 человека – первая группа; 13 - вторая
14. Лирическое отступление
t-критерий Стюдента был разработан Уильямом Госсетом
(1876-1937) для оценки качества пива на пивоваренных
заводах Гиннесса в Дублине (Ирландия). В связи с
обязательствами перед компанией по неразглашению
коммерческой тайны (руководство Гиннесса считало
таковой использование
статистического аппарата в своей
работе), статья Госсета вышла в 1908 году
в журнале «Биометрика» под
псевдонимом «Student» (Студент).
15. Технология применения стат методов
• Содержательное понимание задачи (И! обязательно
гипотеза!!!)
• Перевод в математическую плоскость
• Решение задачи
• Интерпретация полученных результатов (во многих
случаях результатом исследования часто является
выдвижения новой гипотезы)
16. Решение (на примере Roi)
1. Задача HR: повлияло ли обучение на результаты
обучения
2. Создали две выборки, выбрали нужный
статистический критерий
3. Посчитали значимость различий*
4. Ответили на вопрос
* Показывает, что различия не случайны
17. Значимость различий: одна кучка или две?
(может быть самый важный слайд вебинара)
9
8
7
6
5
4
3
2
1
0
0.5 0.6 0.7 0.8 0.9 1
24 человека – первая группа; 13 - вторая
18. Выбор критерия
Параметрические - не параметрические выборки
(первые имеют нормальное распределение, вторые –
нет)
Зависимые – не зависимые выборки
(в первых данные коррелируют между собой, во вторых
– нет)
19. Выбор критерия
Параметрические Непараметрич
еские
Независимые Критерий F – U-критерий
Фишера Манна-Уитни
Критерий t-
Стьюдента для
независимых
выборок
Зависимые Критерий t- Т - критерий
Стьюдента для Вилкоксона
зависимых выборок
20. Больше, чем два
1
0.93
0.9
0.83
0.89
В случае, если выборок
0.8
0.79 не 2, а больше, то
0.7
применяется
критерии, для
0.6
независимых выборок:
0.5
Крускала – Уоллиса
0.4
Для зависимых
0.3
1 2 3 4
Хи квадрат Фридмана
Например: 1) когда сравниваем группы по уровню развития
компетенции (уровень развития компетенции от 1 до 4)
2) Сравнение оценки показателей в анкете удовлетворенности
3) Оценка руководителя по нескольким шкалам
22. U-критерий Манна-Уитни
U-критерий Манна-Уитни
Гипотезы U - критерия Манна-Уитни
• H0: Уровень признака в группе 2 не отличается от
уровня признака в группе 1.
H1: Уровень признака в группе 2 отличается от уровня
признака в группе 1.
Ограничения U-критерия Манна-Уитни
1. В каждой выборке должно быть не менее 3
наблюдений: n1,n2 ≥ З; допускается, чтобы в одной
выборке было 2 наблюдения, но тогда во второй их
должно быть не менее 5.
2. В каждой выборке должно быть не более 60
наблюдений; n1, n2 ≤ 60.
24. Уровень статистической значимости
Уровень Вывод
значимости
p > 0, 1 Статистически достоверные различия не
обнаружены
p ≤ 0, 1 Различия обнаружены на уровне статистической
тенденции
p ≤ 0, 05 Обнаружены статистически значимые различия
p ≤ 0, 01 Различия обнаружены на высоком уровне
статистической значимости
Для небольших выборок бывает достаточно p ≤ 0, 05;
если в выборке около 100 и выше объектов, то целесообразно принять
p ≤ 0, 01
25. РЕЗЮМЕ
1. Классифицируете ситуацию: для класса ситуаций на определение
значимости различий, где есть две независимые выборки
В каждой выборке должно быть не менее 3 наблюдений: n1,n2 ≥ З;
допускается, чтобы в одной выборке было 2 наблюдения, но тогда во
второй их должно быть не менее 5.
В каждой выборке должно быть не более 60 наблюдений; n1, n2 ≤ 60.
Выбираете критерий критерий Манн-Уитни
2. Ищете в поисковике или программе SPSS
3. Вводите данные, вычисляете
4. Если подтверждается H0 значит различий нет, если H1, то различия
есть
26. Интерпретация результатов
• Группы «лучших» и «средних» в оценке персонала по
результатам работы (например показаны результаты
работы прошедших ассессмент центр)
ВЫВОД: «лучшие» по оценке показывают лучшие
результаты в работе.
НО: на основе результатов статистики мы не можем
сказать, что это именно наши действия по оценке к
этому привели.
27. Интерпретация результатов
• Прошедших обучение и контрольных групп в Roi
ВЫВОД: прошедшие обучение показывают лучшие
результаты в работе.
НО: на основе результатов статистики мы не можем
сказать, что это именно обучение к этому привело.
28. Кейсы
• Оценка одними и теми же сотрудниками двух коллег
(например 360 градусов по компетенции «командная
работа»)
• Оценка двух разных показателей одними и теми же
сотрудниками (например в анкете удовлетворенности)
• Оценка подчиненными руководителя по двум разным
шкалам
29. Решение кейсов
Х Y
Иванов 6 7 7 7
Петров 6 7 7 7
Сидоров 6 7 7 7
Иванова 6 7 7 7
Петрова 6 7 7 7
Сидорова 6 7 1 7
Среднее 6 7 6 7
31. Не метрические критерии
• Мужчины или женщины
• С высшим образованием или нет
• Блондинки или не блондинки
• ……..
Хи квадрат Пирсона
Угловое преобразование Фишера
32. Таблицы
Иванов В М 1 0,7
Петрова С Ж 2 0,8
Сидоров В М 1 0,8
Иванова В Ж 2 0,5
Петров С М 1 0,6
Сидорова С ж 2 0,9
34. Возможные кейсы
Анкеты и опросы работников: зависимость переменных
от характеристик аудитории
Что угодно меряем:
Вовлеченность от стажа работы
Удовлетворенность тренингом от уровня образования
И т.п….
36. Выбор критерия
φ* – угловое преобразование Фишера
1. Ни одна из сопоставляемых долей не должна быть равной нулю. Формально нет
препятствий для применения метода φ в случаях, когда доля наблюдений в одной
из выборок равна 0. Однако в этих случаях результат может оказаться
неоправданно завышенным (Гублер Е.В., 1978, с. 86).
2. Верхний предел в критерии φ отсутствует - выборки могут быть сколь угодно
большими.
Нижний предел - 2 наблюдения в одной из выборок. Однако должны соблюдаться
следующие соотношения в численности двух выборок:
а) если в одной выборке всего 2 наблюдения, то во второй должно быть не менее
30: n1=2 -> n2≥30;
б) если в одной из выборок всего 3 наблюдения, то во второй должно быть не
менее 7: n1=3 -> n2≥7;
в) если в одной из выборок всего 4 наблюдения, то во второй должно быть не
менее 5: n1=4 -> n2≥5;
г) при n1, n2≥5 возможны любые сопоставления.
В принципе возможно и сопоставление выборок, не отвечающих этому
условию, например, с соотношением n1=2, n2=15 но в этих случаях не удастся
выявить достоверных различий
38. Пример: тренинги в России и Украине
Бизнес
бизнес психологические тренинги/психол
Тренинги
тренинги тренинги огические
тренинги
Россия 235430 4 505 15823 0,28
Украина 27006 492 1343 0,37
Украина/
0,1147 0,1092 0,0849
Россия
39. Тоже в %
Украина Россия
бизнес тренинги бизнес тренинги
психологические тренинги психологические тренинги
27% 22%
73% 78%
http://hrm.ru/blog_kross-kulturnye-razlichija-na-primere-treningov_11BBF6
43. Ранговый коэффициент корреляции
Спирмена
• Сравнение профилей по тестам (напр. Идеальный
профиль по тесты Кетела и профиль теста кандидата)
• Ранговых предпочтений между группами (например
отношения к инновациям между «старослужащими» и
«молодыми бойцами»)
• Уровень важности управленческих задач успешным
руководителем и кандидатом
44. Модель компетенций HR директора
HR-
директора не HR-директора
Воздействие и оказание влияния 78 41
Ориентация на достижение 100 44
Командная работа и сотрудничество 76 30
Аналитическое мышление 87 34
Инициатива 67 20
Развитие других 72 37
Уверенность в себе 75 33
Директивность/Настойчивость 35 17
Поиск информации 13 16
Командное лидерство 69 24
Концептуальное мышление 47 22
Понимание компании 109 54
Построение отношений 64 36
Межличностное понимание 47 31
45. Модель компетенций HR директора
• Ранговый коэффициент Спирмена
r=0.81, p<0,001, корреляция значима. Что означает:
HR-директора и не-HR-директора дали одинаковое
видение модели компетенций HR-директора. Снаружи
и изнутри видится одинаково
46. Литература и ссылки
• Елена Сидоренко «Методы математической обработки
в психологии»
• А.Д. Наследов «Математические методы
психологического исследования»
• А.Д. Наследов «SPSS. Компьютерный анализ данных
в психологии и социальных науках»
• А.О. Крыштановский «Анализ социологических
данных»
• Google – ищем по названиям критериев