За последние несколько веков научный метод зарекомендовал себя как полезный инструмент. Воспроизводимость — ключевой аспект научной методологии. Хорошая наука должна легко воспроизводиться с использованием той же методологии в других условиях.
Десять лет назад журнал Nature опубликовал статью, в которой отмечалось, что более половины психологических исследований не могут быть воспроизведены. Похоже, с тех пор мало что изменилось: социология, экономика, медицина и другие области также сталкиваются с проблемами воспроизводимости.
Наука полна сомнительных работ, которые, несмотря на жёсткую критику, остаются влиятельными.
Пример из Стэнфордского тюремного эксперимента
Команда исследователей случайным образом назначила добровольцев либо заключёнными, либо охранниками для изучения поведения в тюрьмах. Эксперимент был отменён почти сразу после того, как «заключённые» подверглись насилию со стороны «охранников».
Это было невозможно воспроизвести по нескольким причинам:
* «Заключённые» не были защищены от «охранников», что недопустимо.
* Ведущий исследователь Филипп Зимбардо инструктировал «охранников», как действовать, что подрывало суть эксперимента.
Учёные, тем не менее, пытались воспроизвести нечто подобное с непостоянными результатами.
Культурный антрополог и психолог Крис Каванаг о проблеме воспроизводимости
Крис Каванаг, доцент кафедры культурной антропологии и психологии в Университете Риккё, активно высказывается по этому вопросу. Он указывает на распространённость кризиса воспроизводимости из-за нерегулируемых подкастов, таких как The Huberman Lab, и научно-популярных YouTube-каналов, таких как TED.
Популярный TED Talk «Язык тела формирует то, кем вы являетесь» виновен в этом. Социальный психолог доктор Эми Кадди утверждает, что изменение позы может изменить ваши чувства, а принуждение к улыбке может сделать вас счастливее. Она пришла к такому выводу после измерения уровня кортизола в мозге людей после того, как они приняли «сильную» позу всего на несколько минут.
Проблема в том, что «сильные» позы не так уж и сильны под строгим научным взглядом. Учёные изо всех сил пытались воспроизвести исследование Кадди, но TED Talk набрал впечатляющие 27 миллионов просмотров.
Публикация и предрегистрация исследований
Крис утверждает, что проблема существует с обеих сторон академической издательской индустрии. «Существует хорошо известная проблема, называемая публикационным смещением», — говорит он. Это тенденция академических журналов отдавать предпочтение исследованиям с положительными, статистически значимыми результатами.
Исследователи также способствуют возникновению проблемы. «Учёные обучены реагировать на стимулы издательской индустрии», — говорит Крис. Он говорит, что студентам говорят: «Вы собрали все эти данные, и результаты отрицательные, вам не нужно паниковать».
Этот вид ретроспективной недобросовестной практики известен как p-хакинг. Значение p — это мера того, насколько вероятно, что наблюдаемый результат может быть объяснён случайностью.
В последние годы ситуация, похоже, улучшилась благодаря таким организациям, как Journal of Negative Results, ныне несуществующему журналу, посвящённому публикации исследований без значимых результатов.
Крис предлагает, что это произошло благодаря увеличению количества предварительно зарегистрированных исследований. Предрегистрация — это процесс записи методов и анализа вашего исследования в базу данных с открытым исходным кодом до проведения исследования.
Однако предрегистрация — это не панацея. «Очень немногие люди проверяют предварительные регистрации. Очень немногие загружают наборы данных и анализируют их», — говорит Крис. «Это обычно не является обязательным условием для публикации».
Таким образом, хотя у нас есть веские причины доверять научному процессу критики и дебатов, всё ещё существует множество пробелов, через которые может проскользнуть некачественная наука.