В 2005 году 40-летний преподаватель медицины в Стэнфорде Джон Иоаннидис опубликовал на сайте открытой научной онлайн-библиотеки статью, которая стала самой посещаемой в истории ресурса. Она называлась «Почему большинство публикаций о научных открытиях лживы».

Иоаннидис, который также имел диплом по статистике, математически доказал, что большинство научных статей, которые публикуются в профильных журналах, не являются достоверными. В следующей статье того же года он пояснил это более наглядно, обратившись к воспроизводимости открытий в области медицины.

Научный метод предполагает, что истина — это то, что можно воспроизвести, то есть повторить те же действия и получить тот же эффект.
Если вы открыли губительное воздействие плесневого гриба на стафилококк, то коллега, который через неделю тоже захочет убить пару миллионов этих бактерий, должен получить аналогичный результат, причем на такой же или большей выборке. Тогда ваше исследование (если оно еще и важно для человечества) назовут «значимым».

Иоаннидис взял 49 медицинских работ, которые в течение последних 13 лет научное сообщество сочло наиболее значимыми, и отделил 45 из них, которые стали основой для дальнейших исследований коллег-медиков. Проанализировав результаты последних, он обнаружил, что для 16% значимых исследований попытка воспроизвести их провалилась (результаты противоречили первоначальным), еще 16% выдающихся открытий оказались раздутыми — описанные в первоначальной статье эффекты были выражены сильнее, чем зафиксировали последующие эксперименты. В 11% случаях попыток воспроизведения вообще не было, результаты коллег просто принимались на веру и вносились в дальнейшие опыты как константы. И лишь 44%, меньше половины значимых работ оказались воспроизводимыми.

Иоаннидис стал родоначальником полезного тренда. В последующие годы специалисты в нескольких различных областях науки проводили исследования, которые были нацелены на воспроизведение результатов значимых работ в своей сфере. По разным оценкам, от 51% до 89% научных публикаций не смогли пройти этот тест.

Самым ярким примером невоспроизводимости, то есть ненаучности, стала психология.
Преподаватель этой дисциплины, профессор из Университета Вирджинии Брайан Носек, собрал коллег и повторил с ними 100 известных психологических экспериментов — лишь в 36% результаты первоначального эксперимента были подтверждены.

Мартин Хаггер из австралийского университета Кертин, организовал сотрудников 24 лабораторий, чтобы проверить один из ключевых концептов психологии — «истощение эго», то есть конечность силы воли и отключение механизма самоконтроля при перегрузке мозга. Как сообщает один из членов команды, ничего не нашли.