Антон Воронин
13 января 23:55.
8175

Если свыше 70% научных результатов невоспроизводимы, то как после этого доверять вообще научным данным в настоящее время?

Ответить
Ответить
Комментировать
1
Подписаться
1
4 ответа
Поделиться

Ох, ну давайте разберёмся что к чему и откуда у этой цифры растут ноги.

Во-первых, эта цифра действительно фигурировала в некоем "исследовании" Nature. Давайте я не будут вам рассказывать каким таблоидом является сегодня Nature в глазах огромной части современных учёных (не смотря на огромный импакт-фактор). Достаточно сказать, что там публикуются статьи в основном не благодаря их значимости, сложности и важности, а благодаря таблоидности и заявленной (не обязательно реальной) значимости (или благодаря корешам авторов в редактуре). 

Во-вторых, обратите внимание, как проводилось исследование. Если вы будете внимательными, то увидите, что это вообще-то говоря не исследование, а опрос учёных, на основе которого затем строится статистика. Т.е. брали учёного и спрашивали:

- Уважаемый учёный, в вашей области есть проблема с воспроизведением результатов?
- Да, какая-то есть, но...
- Всё, так и запишем, кризис воспроизведения науки...

Вопросник, кстати, есть онлайн. Однако что это были за учёные? Как они отвечали на вопросы? Что за исследования они не могли воспроизвести и из-за чего - это всё остаётся за кадром. Главное - нарисовать циферки и распространить в вэбе, чтобы поднять хайп. В принципе, это давняя политика Nature, где даже порой не утруждают себя проверкой арифметики (вот, писал про это здесь).

Теперь, по существу. В основном, конечно, такая проблема есть в психологии и социальных науках, где не то чтобы воспроизвести, а даже задачу толком поставить довольно трудно. Есть слишком много факторов, которые влияют на результат, и поэтому воспроизведение и, соответственно, интерпретация, действительно, иногда являются затруднительными. В этом ничего страшного нет, просто, если вы читаете заголовок "Британские психологи выяснили, что ...", будьте добры читать чуть дальше заголовка и разбираться что они сделали, как, какие факторы учитывались, а какие - нет и т.д. 

Я могу сказать дополнительно про свою область: астрофизику (да и какую-то часть физики в целом), хоть с наблюдениями я ничего общего никогда не имел. Астрофизика - это одна из самых дорогих с точки зрения эксперимента наук. Есть единичные аппараты, типа advLIGO, HST, Kepler, Planck, EHS, Fermi, Chandra и т.д., которые могут увидеть что-то в своём диапазоне. Иначе говоря, если телескоп Fermi нашёл какой-то блазар в гамма диапазоне, то всё, больше никакой аппарат в мире этого сделать не может, просто потому что аналогов Fermi не существует. Поэтому о воспроизводимости тут говорить просто глупо.

То же самое касается и физики высоких энергий: сейчас в мире есть только один аппарат, который делает ТэВ-ные энергии (да, я знаю, что на нём куча разных детекторов от разных групп, но не в этом суть).

С другой стороны, надо помнить, что эти аппараты миллион раз откалиброваны, проверены на всех тестовых задачах и т.д. Да, бывают лажовые ситуации, типа сверхсветовых нейтрино в Gran Sasso, но это редкие ошибки, которые очень быстро находятся. 

Поэтому, да, в физике и астрофизике очень часто (особенно в дорогих экспериментах) воспроизводимости результатов действительно нет, но это ничего страшного не означает. 

Плюс, надо понимать, что неспособность воспроизвести (что, собственно и проверяли Nature) не означает принципиальную невоспроизводимость. Если вы не можете, не значит, что в принципе нельзя повторить результаты. Есть всякие детали, которые могли быть не учтены. Особенно это касается экспериментов в физике твёрдого тела: таких случаев очень много, когда берётся недостаточно чистый полупроводник или не то магнитное поле, что было использовано в оригинальной работе, и в результате получается совсем другой результат из-за какого-то неучтённого эффекта. 

В общем, в науке, конечно, надо быть скептиком, но в адекватных дозах. И... Детали, дъявол всегда в деталях, если видите цифру 70%, соблаговолите проверить о чём идёт речь.

56

Но ещё я точно знаю, что была проблема с тем, что ученые не-математики неправильно проверяли гипотезы (которые устанавливают наличие связи между явлениями), т.к. допускали множественные проверки, не корректируя при этом достигнутый уровень значимости (p-value). Поэтому вероятность найти связь там, где её не было значительно возрастала. Ну и просто это значение p-value неверно истолковывали.

www.nature.com

+1
Ответить

Да, грамотность в статистике - это тоже огромная проблема, которая ведёт к неверным результатам. Такое часто бывает и в астрофизике. Слава богу, я к обработке данных никакого отношения не имею.

+1
Ответить
Прокомментировать
  1.  Доверять научным данным, а не их интерпретации в СМИ. "Британские ученые доказали" - обычно не ученые, и не британские, и не доказали.
  2. Доверять научным данным во множественном числе, а не одной конкретной статье.
  3. Доверять данным, по котором согласны люди, которые больше ни в чем друг с другом не согласны.
  4. Доверять данным, которые объясняются разумной теорией, желательно еще что-нибудь успешно предсказывающей, а не просто надерганным корреляциям из исследования.
Иван Сусинотвечает на ваши вопросы в своейПрямой линии
7
Прокомментировать

Иметь дело с научными данными и доверять им или не доверять очень просто потому, что данные - научные, а значит они не просто как то там сообщены, а приведены вместе с методиками, в результате которых они получены. И вы можете познакомиться с этими методами и оценить корректность исследования и его степени достоверности.

Так что нет никакой нужны скопом доверять всем подряд выглядящим как научные факты или приведенным в том или ином журнале сообщениям, как нет никакой нужды огульно их отвергать.

Узнали факт - проверьте. Посмотрите, кто, на каком основании это утверждает и как пришел к этому выводу. И думайте. Анализируйте, соотносите, дискутируйте.

В конце концов есть же 30% воспроизводимых экспериментов :)

Evgeniya Nebovaотвечает на ваши вопросы в своейПрямой линии
0
Узнали факт - проверьте. Посмотрите, кто, на каком основании это утверждает и как пришел к этому выводу. - нельзя проверить, что пишут с каждой статьи, тем более могут быть фальсификации и непредвиденные ошибки
0
Ответить
Научная статья - это статья, в которой предоставляются возможности проверить информацию. Это ссылки на источники, описание методики. Если статья не дает таких возможностей, то она - не научная. И степень достоверности соответствующая, а у теме вопроса она не имеет отношения.
+1
Ответить
Прокомментировать
Читать ещё 1 ответ
Ответить