Антон Воронин
13 января 23:55.
8163

Если свыше 70% научных результатов невоспроизводимы, то как после этого доверять вообще научным данным в настоящее время?

Ответить
Ответить
Комментировать
1
Подписаться
1
4 ответа
Поделиться

Ох, ну давайте разберёмся что к чему и откуда у этой цифры растут ноги.

Во-первых, эта цифра действительно фигурировала в некоем "исследовании" Nature. Давайте я не будут вам рассказывать каким таблоидом является сегодня Nature в глазах огромной части современных учёных (не смотря на огромный импакт-фактор). Достаточно сказать, что там публикуются статьи в основном не благодаря их значимости, сложности и важности, а благодаря таблоидности и заявленной (не обязательно реальной) значимости (или благодаря корешам авторов в редактуре). 

Во-вторых, обратите внимание, как проводилось исследование. Если вы будете внимательными, то увидите, что это вообще-то говоря не исследование, а опрос учёных, на основе которого затем строится статистика. Т.е. брали учёного и спрашивали:

- Уважаемый учёный, в вашей области есть проблема с воспроизведением результатов?
- Да, какая-то есть, но...
- Всё, так и запишем, кризис воспроизведения науки...

Вопросник, кстати, есть онлайн. Однако что это были за учёные? Как они отвечали на вопросы? Что за исследования они не могли воспроизвести и из-за чего - это всё остаётся за кадром. Главное - нарисовать циферки и распространить в вэбе, чтобы поднять хайп. В принципе, это давняя политика Nature, где даже порой не утруждают себя проверкой арифметики (вот, писал про это здесь).

Теперь, по существу. В основном, конечно, такая проблема есть в психологии и социальных науках, где не то чтобы воспроизвести, а даже задачу толком поставить довольно трудно. Есть слишком много факторов, которые влияют на результат, и поэтому воспроизведение и, соответственно, интерпретация, действительно, иногда являются затруднительными. В этом ничего страшного нет, просто, если вы читаете заголовок "Британские психологи выяснили, что ...", будьте добры читать чуть дальше заголовка и разбираться что они сделали, как, какие факторы учитывались, а какие - нет и т.д.  Интересное о работе врача Зачем медицинские учреждения пишут: «Имеются противопоказания, необходима консультация специалиста», когда они сами являются специалистами?Правда ли, что врачам выгодно некачественно лечить зубы, чтобы пациенты приходили снова и снова?Что делают с анализами крови после их изучения? Просто выбрасывают?Задавайте вопросы врачам

Я могу сказать дополнительно про свою область: астрофизику (да и какую-то часть физики в целом), хоть с наблюдениями я ничего общего никогда не имел. Астрофизика - это одна из самых дорогих с точки зрения эксперимента наук. Есть единичные аппараты, типа advLIGO, HST, Kepler, Planck, EHS, Fermi, Chandra и т.д., которые могут увидеть что-то в своём диапазоне. Иначе говоря, если телескоп Fermi нашёл какой-то блазар в гамма диапазоне, то всё, больше никакой аппарат в мире этого сделать не может, просто потому что аналогов Fermi не существует. Поэтому о воспроизводимости тут говорить просто глупо.

То же самое касается и физики высоких энергий: сейчас в мире есть только один аппарат, который делает ТэВ-ные энергии (да, я знаю, что на нём куча разных детекторов от разных групп, но не в этом суть).

С другой стороны, надо помнить, что эти аппараты миллион раз откалиброваны, проверены на всех тестовых задачах и т.д. Да, бывают лажовые ситуации, типа сверхсветовых нейтрино в Gran Sasso, но это редкие ошибки, которые очень быстро находятся. 

Поэтому, да, в физике и астрофизике очень часто (особенно в дорогих экспериментах) воспроизводимости результатов действительно нет, но это ничего страшного не означает. 

Плюс, надо понимать, что неспособность воспроизвести (что, собственно и проверяли Nature) не означает принципиальную невоспроизводимость. Если вы не можете, не значит, что в принципе нельзя повторить результаты. Есть всякие детали, которые могли быть не учтены. Особенно это касается экспериментов в физике твёрдого тела: таких случаев очень много, когда берётся недостаточно чистый полупроводник или не то магнитное поле, что было использовано в оригинальной работе, и в результате получается совсем другой результат из-за какого-то неучтённого эффекта. 

В общем, в науке, конечно, надо быть скептиком, но в адекватных дозах. И... Детали, дъявол всегда в деталях, если видите цифру 70%, соблаговолите проверить о чём идёт речь.

  1.  Доверять научным данным, а не их интерпретации в СМИ. "Британские ученые доказали" - обычно не ученые, и не британские, и не доказали.
  2. Доверять научным данным во множественном числе, а не одной конкретной статье.
  3. Доверять данным, по котором согласны люди, которые больше ни в чем друг с другом не согласны.
  4. Доверять данным, которые объясняются разумной теорией, желательно еще что-нибудь успешно предсказывающей, а не просто надерганным корреляциям из исследования.
Иван Сусинотвечает на ваши вопросы в своейПрямой линии

Иметь дело с научными данными и доверять им или не доверять очень просто потому, что данные - научные, а значит они не просто как то там сообщены, а приведены вместе с методиками, в результате которых они получены. И вы можете познакомиться с этими методами и оценить корректность исследования и его степени достоверности.

Так что нет никакой нужны скопом доверять всем подряд выглядящим как научные факты или приведенным в том или ином журнале сообщениям, как нет никакой нужды огульно их отвергать.

Узнали факт - проверьте. Посмотрите, кто, на каком основании это утверждает и как пришел к этому выводу. И думайте. Анализируйте, соотносите, дискутируйте.

В конце концов есть же 30% воспроизводимых экспериментов :)

Evgeniya Nebovaотвечает на ваши вопросы в своейПрямой линии
Показать остальные 1 ответ
Ответить