Not the rocket science

Not the Rocket Science
Ника Адамян, Илья Захаров
ЗПШ-2016nika.adamian@parisdescartes.fr

Плохая наука не безвредна
Плохое исследование это:
- Время и ресурсы, потраченные на исходное
исследование
- (Время и ресурсы)*2, потраченные на
опровержение исходного исследования
- Увеличение научного шума
- Cнижение доверие к области исследований
и науке в целом

Возможность делать хорошую науку есть у всех
● Это не вопрос финансирования
● Это не вопрос инфраструктуры
● Это вопрос информированности,
ответственности и желания

Какова воспроизводимость психологических исследований?
Nosek et al. (a lot of al!), 2015
• Из 100 реплицированных
исследований более половины
не подтвердили
статистической значимости
эффекта
• Чем больше размер эффекта
оригинального исследования,
тем выше вероятность
успешного воспроизведения
результатов

Neuroskeptic, 2010
1. Лимб
2. Слон из мухи
3. История
придумана
задним числом
4. Охота на p
5. Креативные
выбросы
6. Плагиат
7. Не-публикация
8. Частичная
публикация
9. Фальсификация

Низкая статистическая
мощность

Давайте поможем психологам найти правильный круг ада!

Эксперимент 1: Влияет ли прослушивание детских
песен на субъективный возраст?
НП: детская или обычная песня
ЗП: субъективный возраст (5 вариантов ответа)
Ковариата: возраст отца
Выборка: 30 cтудентов
Результат: да, влияет! детская песня заставляет
чувствовать себя старше F(1, 27) = 5.06, p = .033

Эксперимент 2: Влияет ли прослушивание песни о
зрелом возрасте на ВОЗРАСТ?
НП: детская песня или “I’m 64”
ЗП: возраст

Эксперимент 2: Влияет ли прослушивание песни о
зрелом возрасте на ВОЗРАСТ?
НП: детская песня или “I’m 64”
ЗП: возраст
Результат: СЕНСАЦИЯ!!!

Используя тот же дизайн что и Эксперимент 1, мы давали
20 34 студентам Университета Пеннсильвании послушать
песню “Calimba” либо “I am Sixty-Four” либо “Hot Potato”.
Мы анализировали данные после каждых 10 наблюдений.
Затем, в не относящемся к песне опроснике, студенты
указывали свой возраст, свой субъективный возраст,
возраст своего отца, возраст своей матери, хотели бы они
поужинать в кафе, квадратный корень 100, согласны ли они с
утверждением, что “компьютер - сложная машина”, пользуются
ли они скидками на ранние покупки, свои политические
взгляды, свой гендер, часто ли они описывают прошлое как
“старое доброе” и кто из канадских полузащитников по их
мнению получил награду.
ANCOVA выявила ожидаемый эффект: после
прослушивания песни Beatles испытуемые были на
полтора года моложе (adjusted M = 20.1) , чем после
прослушивания детской песни (adjusted M = 21.5), F(1,17) =
4.92, p = .040. Без контроля возраста родителя, разница была
меньше и не достигла статистической значимости (M = 20.3 и
21.2, соответственно), F(1,18) = 1.01, p = .33.

Используя тот же дизайн что и Эксперимент 1, мы давали
20 34 студентам Университета Пеннсильвании послушать
песню “Calimba” либо “I am Sixty-Four” либо “Hot Potato”.
Мы анализировали данные после каждых 10 наблюдений.
Затем, в не относящемся к песне опроснике, студенты
указывали свой возраст, свой субъективный возраст,
возраст своего отца, возраст своей матери, хотели бы они
поужинать в кафе, квадратный корень 100, согласны ли они с
утверждением, что “компьютер - сложная машина”, пользуются
ли они скидками на ранние покупки, свои политические
взгляды, свой гендер, часто ли они описывают прошлое как
“старое доброе” и кто из канадских полузащитников по их
мнению получил награду.
ANCOVA выявила ожидаемый эффект: после
прослушивания песни Beatles испытуемые были на
полтора года моложе (adjusted M = 20.1) , чем после
прослушивания детской песни (adjusted M = 21.5), F(1,17) =
4.92, p = .040. Без контроля возраста родителя, разница была
меньше и не достигла статистической значимости (M = 20.3 и
21.2, соответственно), F(1,18) = 1.01, p = .33.
То, что было сделано, отличается
от того, что описано, но
результаты обеспечиваются
первым, а не вторым.

- Решения принимаются в процессе
проведения исследования. Чем сложнее
дизайн и метод анализа – тем больше
степеней свободы (например, 7000
комбинаций параметров для анализа
фМРТ(Carp, 2012).
- Нет четких правил (в лучшем случае
конвенции)
- Исследователь хочет получить
статистически значимый результат (по
многим причинам)
Откуда берутся проблемы

Решение:
Определение размера выборки a priori ИЛИ
Секвенционные статистические методы
Несколько способов определить размер
выборки:
- Рассчитать на основе мощности
эффекта (хорошо когда возможно)
- Использовать конвенциональные >n
измерений на ячейку (meh)
- Взять конвенциональное значение и
собрать вдвое больше данных (not
bad)
В любом случае, главное не
останавливать сбор данных просто
потому что обнаружились значимые
различия
Почему так важен размер
выборки

Cогласно публикациям, разница бывает: “на
уровне статистической тенденции” или
“практически достигла уровня
статистической значимости” или
“статистически не значима в узком
понимании” или “не полностью значима”.  
Зачем проводить тест, если его результат
не влияет на интерпретацию данных?
“Конечно, бог любит .06 почти так же как .05”

Ссылки на полезные ресурсы:
G*Power: http://www.gpower.hhu.de/
en.html
“Идеальный t-test” Д. Лакенса:
https://github.com/Lakens/Perfect-t-
test
Анализ p-значений на основе
приведенных статистик
http://shinyapps.org/apps/p-checker/

Полный дизайн исследования
● Исследовательские вопросы
● Гипотезы (направленные или ненаправленные?)
● Испытуемые (здоровые взрослые? дети? пациенты? животные? менеджеры? откуда
они узнают про исследование? что они получат за участие?)
● Объем выборки и его обоснование (анализ мощности, наличие ресурсов, доступность)
и/или правило остановки
● Все переменные - измеряемые и варьируемые
● Способ рандомизации
● Правила исключения наблюдений и заполнения пропущенных значений
● Планируемые трансформации данных и препроцессинг
● Планируемые статистические тесты
В идеале, первая часть отчета об исследовании должна на 100%
соответствовать тому, что было запланировано. Все, что не входило в
планы, является эксплораторной частью исследования, что тоже
интересно, но должно быть отделено от конфирматорной части.

http://fivethirtyeight.com/features/science-isnt-broken/  
https://osf.io/gvm2z/
Все эти варианты анализа выполнены правильно
Получить некий результат гораздо проще, чем понять, что происходит на самом деле

• Как бы мы ни старались, наука остается
довольно “грязным” делом
• Нужно принять, что любой результат —
временный, как и любая теория
• Это не значит, что данные нужно
воспринимать как иллюстрацию к картине
мира учёного — данные нужно слушать,
стараясь побороть свое стремление
подтвердить собственную гипотезу

https://cos.io/prereg/
Attention, Perception & Psychophysics
Cognition & Emotion
Comparative Political Studies
Comprehensive Results in Social
Psychology
Cortex
Drug and Alcohol Dependence
eLife
European Journal of Neuroscience
Experimental Psychology
Human Movement Science
Journal of Business and Psychology
Journal of Media Psychology
Journal of Personnel Psychology
Perspectives on Psychological Science
Royal Society Open Science
Social Psychology
Stress & Health
Working, Aging and Retirement
Пререгистрация
отдельно от
публикации
Рецензия на идею:
- теория
- гипотезы
- методы
- анализ
Принципиальное
согласие на публикацию
(в случае если автор будет
следовать утвержденному
плану
Рецензия на статью
- важно соответствуют
ли выводы
результатам
- не имеет значения
“хороший” ли
результат
PROFIT!

Вариант развития на примере одной лаборатории
https://sites.google.com/site/todorovicana/musings/crisis_report
1) Публиковать данные и скрипты для анализа (OSF, Zenodo) –
вероятность кражи данных намного меньше вероятности
сотрудничества + мотивация держать файлы в порядке
2) Переделывать анализ друг за другом вслепую
3) Всегда описывать хотя бы один “неудавшийся” анализ в статье или
прикладывать “неудавшиеся” результаты в качестве дополнительных
материалов

Организация
репродуцируемых
исследований

Типичные реакции на просьбу показать данные и код
• Мои данные? Да, вот папка с первым пилотажем, вот эту папку оставила студентка, но она так и
не закончила… в общем, я не совсем помню, какие данные использовались, надо
посмотреть…
• Подожди, тут у меня где-то в экселе была таблица…
• Вот мой скрипт в SPSS! У тебя нет SPSS? Как ты так живешь.
• Я так долго готовил(а) эту презентацию, а теперь мне поручили добрать выборку, все графики
придется перерисовывать
• Вот архив со всеми скриптами по этому проекту. Там ничего непонятно и нет комментариев, но я
надеюсь ты справишься=). Что, основной скрипт не работает? А, понятно, тебе нужно
откомментировать здесь, там и тут, и исправить минус на плюс в строке 157

Организация исследования
Правило: делать все так, чтобы тебе было это понятно через 5 лет. Тогда это
будет понятно и другому сейчас.
Типичная организация файлов:
- литература
- дизайн (+ дополнительные материалы, функции, etc)
- данные
- анализ
- публикация, постер, абстракт…

Основные компьютерные
инструменты работы
психолога-исследователя

Инструменты для создания экспериментов
Проприетарный, зато
работает “из
коробки”
Кстати, работает в Octave
(открытая альтернатива
Matlab)
Не соглашайтесь на это
Неплохая
среда с
кнопочками,
открыто
Бесплатно, открыто, доступно для изучения

Специальные инструменты для статистического анализа
JASP
JASP
+: открытый, удобный, простой,
умеет байесовские статистики
-: не сохраняет скрипт, не
манипулирует данными
SPSS
+: нас ему учат, можно
сохранить скрипт
-: дорогой, медленный, тяжелый,
проприетарный, страшненький
R
+: открытый, мощный,
активно разрабатывается,
есть курсы (даже на
русском языке), достаточно
низкий порог вхождения,
рисовать в ggplot одно
удовольствие
-: при редком
использовании навык
теряется

Решения для ведения логов
Jupyter notebooks: браузерный, многофункциональный, хотя лучше всего подходит для
уроков и инструкций. Очень удобен в случаях, когда нужно контролировать работу
небольших кусочков кода.
 
Rmarkdown: удобно для всего что делается в R, хотя довольно быстро раздувается.
Удобно готовить промежуточные отчеты.
OneNote, Evernote etc – неудобно хранить код, хотя подходит для картинок и текста.
 
Любые варианты с контролем версий через GitHub – отлично, но нужно привыкнуть.
Скорее формат постепенного улучшения нежели хронологии.

Открытая наука – зонтичный термин для движения, цель которого — сделать научные
исследования, данные и их распространение доступными для всех уровней заинтересованного
общества, будь то любители или профессионалы.
Принципы открытой науки
● Открытые методы
● Open source
● Открытые данные
● Открытый доступ к научным результатам
● Открытое рецензирование
● Открытые образовательные ресурсы

Неочевидный, но полезный побочный
продукт открытой науки – открытое
обучение науке. То, чему раньше
нужно было учиться в престижных
местах в непосредственном контакте
с авторами, сейчас часто находится в
открытом доступе.
● Уроки и инструкции (программирование, анализ
данных)
● Код исследовательских проектов
● Различные типы данных

Как социальные медиа ускорили науку

Пост-публикационные рецензии и HIBAR (ЕЯБР!)
Отличная возможность увидеть разные точки зрения
Быстрая реакция на публикации (по сравнению с “письмом редактору”
25 августа: выход онлайн статьи “Sadness Impairs
Color Perception”, пресс-релизы в нескольких крупных
изданиях, недоуменная дискуссия в твиттере —
обнаружена очевидная методическая ошибка
4 сентября: первый комментарий PubPeer с
описанием ошибки
12 сентября: обнаружен еще один недочет,
связанный с округлением данных вручную
…
5 ноября: авторы отзывают статью
25 ноября: препринт с подробным анализом кейса и
недочетов

Как находить интересное
- через друзей с похожими интересами
- через известных в проф.сообществе пользователей
- через поиск
- через хештеги (#ECRchat, #PhDchat)
О чем писать твиты
- полностью ваше дело
- если хотите обосноваться в научном твиттер-мире –
про свои научные находки, про то, чем вы
занимаетесь, интересные статьи из вашей сферы,
живые ленты с конференций
Как успевать читать
- сохранение длинных текстов на потом – либо с
помощью кнопки favourite которая недавно стала
кнопкой like, либо с помощью сторонних сервисов типа
Pocket
Преподаватели ЗПШ в Твиттере: @nikuss , @ilia_zaharov , @lovakov, @cogdevelopment и многие другие!

- журналы и их заголовки
- профессиональные
сообщества
- научные блоги
- околонаучные блоги
Заведите Feedly или TheOldReader и добавьте новости любимых блогов и журналов

Соавторы нужны хотя бы для того чтобы читать
черновики

Сотрудничество
Общий протокол
Разные часовые пояса
Гигиена рабочей почты

Сотрудничество: данные
Внимание к мелочам (названия файлов, заметки в ходе эксперимента, etc.)
Общая база + data dictionary

http://www.humanconnectomeproject.org/
https://www.humanbrainproject.eu/
Коллаборации
etc.
http://enigma.ini.usc.edu/

Исследования в интернете: допустимо

Исследования в интернете: реализуемо
https://www.mturk.com/mturk/welcome

?Yale University, Yale School of Medicine
University of South Florida
Stanford University
University of California at San Francisco
University of Iowa College of Public Health
University of Alabama, Birmingham
Исследования в интернете: как не надо

http://www.eternagame.org/web/about/
Исследования в интернете: интересно
http://brainﬂight.org/
http://fold.it/portal/info/about#folditpub
http://eyewire.org/explore

http://calhoun.nps.edu/bitstream/handle/10945/44013/14Sep_Tellioglu_Umit.pdf?
sequence=3&isAllowed=y
Исследования в интернете: интересно
Как привлекать «китов?» 
 
90 % 12,000 Phylo 
top 20 players solved more than 700 puzzles each

Как работать с людьми

Информированное согласие

Платить ли испытуемым?
Если есть возможность, то да.

TCTS
Профессиональные сообщества

Междисциплинарное сотрудничество
https://vk.com/coopscience

1. Build replications into current study designs. Start with looking for an effect that is already published, then build on additional manipulations. That way
nobody needs to dedicate their time exclusively to replications, while published results will still be routinely checked.

2. If you are unable to come up with strong, precise, fully worked out hypotheses about all the possible and impossible things the brain might do in response to
your experimental manipulations, then make this a two-step process. Start out with some broad hypotheses about large scale neural activity, then stop the data
analysis and reassess. Think about mutually exclusive interpretations of your data, then try to come up with additional, targeted hypotheses about the nature of
the neural activity underlying your effects.

3. Publish the results of all your studies, if you think your experiments were methodologically and technically sound. These won’t all get into journals with high
impact factors, but still write them up with care. It is incredibly important for others to know what does and doesn’t work. Always give exact p-values for
nonsigniﬁcant results. The difference between 0.05 and 0.12 might be negligible; the difference between 0.12 and 0.9 is not.

4. Always plot the raw data in your manuscripts (a measure of central tendency and a measure of dispersion). Do not just show t-maps, model ﬁts, correlations
with indices, difference plots. Show what neural activity looks like for each experimental condition. This makes it easier to compare results across studies, and
gives others a clearer insight into the data pattern underlying your effect. If at all possible, upload your data and scripts to a public repository.

5. Appreciate people’s research for more than their p-values. Hiring committees will mostly care about that, but we can behave differently. Give people's failed
experiments the attention they deserve. Failed experiments make us think, and thinking is a good thing.

1. Build replications into current study designs. Start with looking for an effect that is already published, then build on additional manipulations. That way
nobody needs to dedicate their time exclusively to replications, while published results will still be routinely checked.
2. If you are unable to come up with strong, precise, fully worked out hypotheses about all the possible and impossible things the brain might do in response to
your experimental manipulations, then make this a two-step process. Start out with some broad hypotheses about large scale neural activity, then stop the data
analysis and reassess. Think about mutually exclusive interpretations of your data, then try to come up with additional, targeted hypotheses about the nature of
the neural activity underlying your effects.
3. Publish the results of all your studies, if you think your experiments were methodologically and technically sound. These won’t all get into journals with high
impact factors, but still write them up with care. It is incredibly important for others to know what does and doesn’t work. Always give exact p-values for
nonsigniﬁcant results. The difference between 0.05 and 0.12 might be negligible; the difference between 0.12 and 0.9 is not.
4. Always plot the raw data in your manuscripts (a measure of central tendency and a measure of dispersion). Do not just show t-maps, model ﬁts, correlations
with indices, difference plots. Show what neural activity looks like for each experimental condition. This makes it easier to compare results across studies, and
gives others a clearer insight into the data pattern underlying your effect. If at all possible, upload your data and scripts to a public repository.
5. Appreciate people’s research for more than their p-values. Hiring committees will mostly care about that, but we can behave differently. Give people's failed
experiments the attention they deserve. Failed experiments make us think, and thinking is a good thing.

Not the rocket science

More Related Content

Featured

Not the rocket science