Сохраняет ли анонимность авторов в процессе рецензирования справедливость этого процесса? Новое масштабное полевое исследование под руководством профессора Колледжа искусств и наук Университета Индианы Тима Плескака в сотрудничестве с Элли Киюнг (Колледж Бэбсона), Гретхен Чапман (Университет Карнеги-Меллона) и Олегом Урминским (Университет Чикаго) показывает, что ответ сложнее, чем многие ожидают.
Группа исследователей — все ведущие эксперты в области принятия решений — сравнила одноанонимное (или неанонимное рецензирование, при котором рецензенты знают личность автора) с двойным слепым (или анонимным рецензированием, при котором ни одна из сторон не знает личности другой) для материалов, представленных на 39-й ежегодной конференции Общества по принятию решений, международной организации, объединяющей более 1800 учёных. Их работа — первая, в которой систематически оценивалась справедливость, надёжность и обоснованность этих двух систем в реальных условиях рецензирования с высокими ставками.
Результаты исследования
Результаты удивили исследователей. Они оказались более тонкими и в некоторых случаях менее однозначными, чем ожидалось. Тем не менее, возможно, именно поэтому они показались интересными и информативными, особенно для аналогичных организаций в социальных науках и бизнесе.
Анонимное рецензирование уменьшило различия для азиатских авторов, выступающих первыми авторами, но женщины и соискатели с небольшим опытом работы получили немного более низкие оценки. Различия в надёжности и обоснованности между двумя системами были минимальными, что подчёркивает уровень «шума» в процессе рецензирования.
«Безусловно, самым большим эффектом, который мы измерили, была изменчивость между рецензентами, независимо от того, были ли они анонимными», — сказал Плескак. «Никто никогда раньше не оценивал этот вопрос, и он имеет реальное значение для того, как мы проектируем системы рецензирования».
Несмотря на эти сложности, команда в конечном итоге рекомендовала анонимное рецензирование с корректировками для повышения справедливости и научной строгости. Одно из предложений состояло в том, чтобы рассматривать «шум» не как недостаток, а как возможность: интеграция анонимного рецензирования с системой лотереи для выбора лучших материалов.
«Если процесс изначально шумный, мы должны использовать это», — сказал Плескак. «Случайный выбор из высококачественных работ может способствовать разнообразию идей и перспектив в науке».
Публикация исследования
Статья «Blinded versus unblinded review: A field study on the equity of peer-review processes» была опубликована 6 августа 2025 года в журнале Management Science. И Общество по принятию решений приняло некоторые из их рекомендаций, включая использование анонимного рецензирования.
Идея исследования
Идея возникла в результате многолетнего личного опыта работы в комитетах по рецензированию в Обществе по принятию решений.
«Когда я была президентом SJDM и работала в комитете по присуждению премии Hillel J. Einhorn Young Investigator Award, мы перешли к анонимному рецензированию, и женщины стали побеждать чаще», — сказала Гретхен Чапман. «Сложно сказать, была ли это причинно-следственная связь, но это заставило меня задуматься, может ли анонимность сделать процесс более справедливым».
Методология исследования
Чтобы сравнить результаты анонимного и неанонимного рецензирования, 112 рецензентов-преподавателей оценили 530 материалов конференции. Рецензентам случайным образом была назначена система анонимного или неанонимного рецензирования, причём каждый обрабатывал около 30 материалов.
Для оценки надёжности каждого процесса рецензирования 53 материала (10% от общего количества) были назначены трём дополнительным анонимным и трём дополнительным неанонимным рецензентам. Наконец, чтобы измерить прогностическую обоснованность процессов рецензирования, команда привлекла преподавателей и аспирантов для оценки каждого из представленных на конференции докладов, а затем через шесть лет отследила, какие материалы конференции были опубликованы и где.
Выводы
Среди выводов: в условиях анонимного рецензирования азиатские авторы, выступающие первыми авторами, получили более высокие оценки, чем в условиях неанонимного рецензирования, даже после учёта 13 других характеристик автора и материалов. Это согласуется с идеей о том, что анонимность может уменьшить предвзятость, связанную с расой или этнической принадлежностью.
Пол, напротив, показал другую закономерность. Мужские авторы, выступающие первыми авторами, получили более высокие оценки, чем женские авторы, выступающие первыми авторами, в обеих системах рецензирования, причём разрыв был немного больше в анонимных условиях. Это может отражать гендерное неравенство в математических дисциплинах, представленных на конференции, таких как статистика, компьютерное моделирование и теория игр, или большую ценность, иногда придаваемую темам или перспективам, ориентированным на мужчин.
Плескак отметил, что неанонимные рецензенты, возможно, пытались компенсировать этот разрыв, включая больше работ, написанных женщинами, хотя для подтверждения этого необходимы дополнительные исследования.