В школе я помню, как ждал вместе с напарником по парте, когда в чашке с синим раствором на нашей палочке начнут формироваться кристаллы. Другие группы вокруг нас радовались, когда их кристаллы появлялись, но у нас этого не происходило. Когда прозвенел звонок, все ушли, а я остался. Учитель подошёл, взял с прилавка нераскрытую упаковку и сказал: «Кристаллы не могут вырасти, если соли нет в растворе».
Для меня наука была именно такой: то, что должно произойти, ясно и конкретно. И если этого не происходит, значит, вы что-то сделали не так. Но всё оказалось не так просто.
Потребовалось много лет, чтобы понять: наука — это не просто серия действий, где вы знаете, что произойдёт в конце. Наука — это открытие и генерация новых знаний.
Сейчас я психолог, изучающий, как учёные занимаются наукой. Как новые методы и инструменты внедряются? Как происходят изменения в научных областях и что мешает изменениям в том, как мы занимаемся наукой?
Одной из практик, которая меня fascinated, являются исследования по воспроизведению (репликации), где исследовательская группа пытается повторить предыдущее исследование. Как и с кристаллами, не всегда получается получить одинаковый результат от разных команд, и когда вы в команде, у которой кристаллы не растут, вы не знаете, не сработало ли исследование из-за неверной теории или вы просто забыли положить соль в раствор.
Репликация и воспроизводимость
В мае 2025 года президент Дональд Трамп подписал исполнительный указ, в котором подчёркивалась «кризис воспроизводимости» в науке. Воспроизводимость — это способность использовать те же данные и методы из исследования и воспроизвести результат.
Репликация — это когда независимая команда повторяет тот же процесс, включая сбор новых данных, чтобы увидеть, получат ли они те же результаты. Когда исследование реплицируется, команда может быть более уверена, что результаты не случайны или не являются ошибкой.
«Кризис репликации», термин, придуманный в психологии в начале 2010-х годов, распространился на многие области, включая биологию, экономику, медицину и информатику.
Воспроизводимость — ключевая научная ценность: исследователи хотят иметь возможность находить один и тот же результат снова и снова. Многие важные открытия не публикуются, пока не будут независимо воспроизведены.
В исследованиях могут возникать случайные находки. Представьте, что кто-то подбросил монету 10 раз и получил два орла, а затем сказал миру, что «у монет есть 20% шанс выпадения орла». Даже если это маловероятный результат — около 4%, — это возможно. Репликации могут исправить такие случайные результаты, а также научные ошибки, чтобы обеспечить самокоррекцию науки.
Например, в поисках бозона Хиггса два исследовательских центра в Европейском совете по ядерным исследованиям (CERN), ATLAS и CMS, независимо воспроизвели обнаружение частицы с большой уникальной массой, что привело к Нобелевской премии по физике 2013 года.
Исследовательские центры, такие как CERN, имеют встроенную в процесс репликацию, но это невозможно для всех исследований. Для проектов, которые относительно недороги, первоначальная команда часто повторяет свою работу до публикации, но это не гарантирует, что независимая команда сможет получить те же результаты.
Когда проекты дорогостоящие, срочные или зависят от времени, их независимое воспроизведение до распространения результатов часто невозможно. Вспомните, когда люди по всей стране ждали вакцину от COVID-19.
Первоначальная вакцина Pfizer-BioNTech от COVID-19 заняла 13 месяцев с начала испытаний до авторизации Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов. Результаты первоначального исследования были настолько ясными и убедительными, что повторение исследования привело бы к неоправданной задержке в получении вакцины общественностью и замедлению распространения болезни.
Поскольку не каждое исследование может быть воспроизведено до публикации, важно проводить репликацию после публикации исследований. Репликации помогают учёным понять, насколько хорошо работают исследовательские процессы, выявлять ошибки и вносить коррективы.
Исследователи могут независимо воспроизвести работу других команд, как в CERN. И это происходит. Но когда есть только два исследования — оригинальное и репликационное — трудно понять, что делать, если они расходятся. Поэтому большие многогрупповые команды часто проводят репликации, где все они воспроизводят одно и то же исследование.
В качестве альтернативы, если цель состоит в том, чтобы оценить воспроизводимость массива исследований, каждая команда может воспроизвести другое исследование, и основное внимание уделяется проценту исследований, которые воспроизводятся во многих исследованиях.
Репликаторы начинают с изучения как можно большего количества информации о том, как проводилось оригинальное исследование. Они могут собирать сведения об исследовании, читая опубликованную статью, обсуждая работу с её авторами и консультируясь с онлайн-материалами.
Репликаторы хотят знать, как участники были отобраны, как собирались данные и с помощью каких инструментов, а также как данные были проанализированы. Но иногда исследования могут упускать важные детали, например, вопросы, заданные участникам, или марку оборудования. Репликаторы должны принимать эти трудные решения самостоятельно, что может повлиять на результат.
Репликаторы также часто явно меняют детали исследования. Например, многие исследования по репликации проводятся с более крупными выборками — большим количеством участников — чем в оригинальном исследовании, чтобы убедиться в надёжности результатов.