1. О множественных
сравнениях
Четвериков А. А., СПбГУ
РФФИ №08-06-00199-а.

2. Множественные корреляции
● Анализируем корреляции между 10
психосоциальными
характеристиками
● Метод - коэффициент корреляции
Пирсона
● Получено 8 корреляций, значимых на
уровне p<0,05

3. Множественные корреляции
a1 a2 a3 a4 a5 a6 a7 a8 a9 a10
a1
a2 0,00
a3 0,54 0,70
a4 0,16 0,67 0,67
a5 0,00 0,98 0,34 0,09
a6 0,59 0,93 0,99 0,98 0,31
a7 0,51 0,02 0,24 0,25 0,87 0,01
a8 0,03 0,62 0,85 0,72 0,78 0,43 0,28
a9 0,34 0,75 0,68 0,41 0,35 0,73 0,71 0,01
a10 0,29 0,99 0,48 0,85 0,17 0,17 0,23 0,02 0,03
Таблица случайных чисел – 8 чисел из 90 меньше 0,05

4. Множественные сравнения
групп
● Сравниваем три группы (например,
сайентологов, вагоновожатых и
альпинистов), опять же по 10
признакам
● Метод – t-критерий Стьюдента
● Получены значимые на уровне p<0,05
различия по 2 признакам

5. Проблема множественных
сравнений
b1 b2 b3 b4 b5 b6 b7 b8 b9 b10
сайентологи -
вагоновожатые 0,43 0,36 0,20 0,55 0,67 0,86 0,39 0,30 0,35 0,48
альпинисты - вагоновожатые 0,37 0,55 0,93 0,10 0,04 0,88 0,60 0,42 0,28 0,36
альпинисты - сайентологи 0,01 0,16 0,57 0,99 0,91 0,95 0,86 0,75 0,76 0,17
Таблица случайных чисел – 2 числа из 30 меньше 0,05

6. Проблема множественных
сравнений
1
● Что такое α=0,05? 0,9
0,8
Семейство гипотез
0,7
●
FWER
0,6
0,5
FWER=1-(1-α)n
0,4
● 0,3
0,2
0,1
0
1 6 11 16 21 26 31 36 41 46 51 56 61 66 71
Число гипотез

7. Решения проблемы
● Снижение числа гипотез
● ФА
● структурное моделирование
● изменение дизайна эксперимента

8. Решения проблемы
● Введение поправок на
множественные сравнения
● (M)ANOVA и пост-хок тесты
(последовательные проверки
гипотез)
● Спланированные сравнения

9. Поправка Bonferroni
● Самый строгий из возможных
критериев
● Значимыми признаются результаты с
p<α/n

10. Поправка Benjamini &
Hochberg (1995)
● 6 гипотез: p1=0,001, p2=0,003,
p3=0,009, p4=0,037, p5=0,043,
p6=0,140
● Выстраиваем в порядке
возрастания p
● Проверяем pi≤i*α/n

11. Поправка Benjamini &
Hochberg (1995)
i p i*0,05/6
6 0,140 0,050
5 0,043 0,042 Не значимо
4 0,037 0,033 Не значимо
3 0,009 0,025 Значимо
2 0,003 0,017 Значимо
1 0,001 0,008 Значимо

12. Проблемы
● Определение «семейства гипотез»
● Возрастание вероятности ошибки
второго рода
● Вывод: хороший дизайн
исследования ничто не заменит