Антон Воронин
ноябрь 2016.
8210

Если свыше 70% научных результатов невоспроизводимы, то как после этого доверять вообще научным данным в настоящее время?

Ответить
Ответить
Комментировать
1
Подписаться
1
4 ответа
Поделиться

Ох, ну давайте разберёмся что к чему и откуда у этой цифры растут ноги.

Во-первых, эта цифра действительно фигурировала в некоем "исследовании" Nature. Давайте я не будут вам рассказывать каким таблоидом является сегодня Nature в глазах огромной части современных учёных (не смотря на огромный импакт-фактор). Достаточно сказать, что там публикуются статьи в основном не благодаря их значимости, сложности и важности, а благодаря таблоидности и заявленной (не обязательно реальной) значимости (или благодаря корешам авторов в редактуре). 

Во-вторых, обратите внимание, как проводилось исследование. Если вы будете внимательными, то увидите, что это вообще-то говоря не исследование, а опрос учёных, на основе которого затем строится статистика. Т.е. брали учёного и спрашивали:

- Уважаемый учёный, в вашей области есть проблема с воспроизведением результатов?
- Да, какая-то есть, но...
- Всё, так и запишем, кризис воспроизведения науки...

Вопросник, кстати, есть онлайн. Однако что это были за учёные? Как они отвечали на вопросы? Что за исследования они не могли воспроизвести и из-за чего - это всё остаётся за кадром. Главное - нарисовать циферки и распространить в вэбе, чтобы поднять хайп. В принципе, это давняя политика Nature, где даже порой не утруждают себя проверкой арифметики (вот, писал про это здесь).

Теперь, по существу. В основном, конечно, такая проблема есть в психологии и социальных науках, где не то чтобы воспроизвести, а даже задачу толком поставить довольно трудно. Есть слишком много факторов, которые влияют на результат, и поэтому воспроизведение и, соответственно, интерпретация, действительно, иногда являются затруднительными. В этом ничего страшного нет, просто, если вы читаете заголовок "Британские психологи выяснили, что ...", будьте добры читать чуть дальше заголовка и разбираться что они сделали, как, какие факторы учитывались, а какие - нет и т.д. 

Я могу сказать дополнительно про свою область: астрофизику (да и какую-то часть физики в целом), хоть с наблюдениями я ничего общего никогда не имел. Астрофизика - это одна из самых дорогих с точки зрения эксперимента наук. Есть единичные аппараты, типа advLIGO, HST, Kepler, Planck, EHS, Fermi, Chandra и т.д., которые могут увидеть что-то в своём диапазоне. Иначе говоря, если телескоп Fermi нашёл какой-то блазар в гамма диапазоне, то всё, больше никакой аппарат в мире этого сделать не может, просто потому что аналогов Fermi не существует. Поэтому о воспроизводимости тут говорить просто глупо.

То же самое касается и физики высоких энергий: сейчас в мире есть только один аппарат, который делает ТэВ-ные энергии (да, я знаю, что на нём куча разных детекторов от разных групп, но не в этом суть).

С другой стороны, надо помнить, что эти аппараты миллион раз откалиброваны, проверены на всех тестовых задачах и т.д. Да, бывают лажовые ситуации, типа сверхсветовых нейтрино в Gran Sasso, но это редкие ошибки, которые очень быстро находятся. 

Поэтому, да, в физике и астрофизике очень часто (особенно в дорогих экспериментах) воспроизводимости результатов действительно нет, но это ничего страшного не означает. 

Плюс, надо понимать, что неспособность воспроизвести (что, собственно и проверяли Nature) не означает принципиальную невоспроизводимость. Если вы не можете, не значит, что в принципе нельзя повторить результаты. Есть всякие детали, которые могли быть не учтены. Особенно это касается экспериментов в физике твёрдого тела: таких случаев очень много, когда берётся недостаточно чистый полупроводник или не то магнитное поле, что было использовано в оригинальной работе, и в результате получается совсем другой результат из-за какого-то неучтённого эффекта. 

В общем, в науке, конечно, надо быть скептиком, но в адекватных дозах. И... Детали, дъявол всегда в деталях, если видите цифру 70%, соблаговолите проверить о чём идёт речь.

56

Но ещё я точно знаю, что была проблема с тем, что ученые не-математики неправильно проверяли гипотезы (которые устанавливают наличие связи между явлениями), т.к. допускали множественные проверки, не корректируя при этом достигнутый уровень значимости (p-value). Поэтому вероятность найти связь там, где её не было значительно возрастала. Ну и просто это значение p-value неверно истолковывали.

www.nature.com

+1
Ответить

Да, грамотность в статистике - это тоже огромная проблема, которая ведёт к неверным результатам. Такое часто бывает и в астрофизике. Слава богу, я к обработке данных никакого отношения не имею.

+1
Ответить
Прокомментировать
  1.  Доверять научным данным, а не их интерпретации в СМИ. "Британские ученые доказали" - обычно не ученые, и не британские, и не доказали.
  2. Доверять научным данным во множественном числе, а не одной конкретной статье.
  3. Доверять данным, по котором согласны люди, которые больше ни в чем друг с другом не согласны.
  4. Доверять данным, которые объясняются разумной теорией, желательно еще что-нибудь успешно предсказывающей, а не просто надерганным корреляциям из исследования.
Иван Сусинотвечает на ваши вопросы в своейПрямой линии
7
Прокомментировать

Иметь дело с научными данными и доверять им или не доверять очень просто потому, что данные - научные, а значит они не просто как то там сообщены, а приведены вместе с методиками, в результате которых они получены. И вы можете познакомиться с этими методами и оценить корректность исследования и его степени достоверности.

Так что нет никакой нужны скопом доверять всем подряд выглядящим как научные факты или приведенным в том или ином журнале сообщениям, как нет никакой нужды огульно их отвергать.

Узнали факт - проверьте. Посмотрите, кто, на каком основании это утверждает и как пришел к этому выводу. И думайте. Анализируйте, соотносите, дискутируйте.

В конце концов есть же 30% воспроизводимых экспериментов :)

Evgeniya Nebovaотвечает на ваши вопросы в своейПрямой линии
0
Узнали факт - проверьте. Посмотрите, кто, на каком основании это утверждает и как пришел к этому выводу. - нельзя проверить, что пишут с каждой статьи, тем более могут быть фальсификации и непредвиденные ошибки
0
Ответить
Научная статья - это статья, в которой предоставляются возможности проверить информацию. Это ссылки на источники, описание методики. Если статья не дает таких возможностей, то она - не научная. И степень достоверности соответствующая, а у теме вопроса она не имеет отношения.
+1
Ответить
Прокомментировать

Прежде чем говорить о том, как на вас влияет наука, хочу заметить что с результатами 97% научных публикаций вы никак не столкнетесь в своей жизни вообще, потому что они узконаправленные и связаны не с вашей повседневностью. Не верите, загляните в журналы ВАКа

Что такое reproducibility (ака повторяемость) по мнению Nature, это повторение в такой же экспериментальной системе, и они дают пример - повторение результатов при использовании одинаковых реагентов. Для настоящего ученого это похоже на шутку, потому что многим важен для повторяемости такой спектр параметров, что их список займет у вас несколько недель чтения (это не фигуральный оборот).

Откуда берется такая вот низкая повторяемость из стать? 

1. Не все условия описаны в работе, потому что китайцы (и другие конкуренты) тоже читают и пишут научные статьи. Если разжевать суть, то будет такая же опасность неадекватного использования, как сейчас есть для методики CRISPR. У кого-то нет проблем с этическим контролем, финансированием и ответственностью.

2. Экспериментальная система в науке очень сложная, и я это ощутил на себе, когда пытался делать одно волоконное устройство точно по опыту из литературы. Не выходило никак. То есть выходило, но повторяемость была 1/~200, да и та только из-за моего везения. Но потом я нашел, что на моей рабочей станции просто нет корректировки нескольких режимов, без которых я не могу повторять за японцами этот опыт. Хотя он уже давно не секретный, но никто не считал важным прописывать это в своих статьях.

3. В научных статьях редко рассматривают вещи которые поддаются генерализации - все довольно местечково и характерно для случая. То есть исследование конкретного синтеза на конкретном предприятии (специально строить такие же условия для процесса никто не станет), социальных аспектов жизни людей, которые как-то где-то живут (они просто второй раз одно и тоже не скажут, даже на одинаковые вопросы) и тп.

4. В статье приведены исследования по психологии и исследованиям рака - и если с раком даже вам понятно, что это очень индивидуальное, слабо контролируемое и очень комплексное, то психология - это как бы не казалась штукой, которая близка всем, тоже является вещью комплексной, индивидуальной и зависимой от исследователя.

5. О чем статья? Она о том, как сделать так чтобы ученые лучше друг друга понимали, а не о том, что давайте вернем иррациональное знание в наши учебники. Скажу больше, это исследование Nature не повторяемо, от выборки ученых, конкретизации вопросов, уточнения параметров и удаления столько крутого приза в 500$ изменится ВСЁ. Кроме того, нет никакой проверки на честность респондентов или о ней не написано ничего. Смотрим дальше заголовка, и находим ответ на ваш вопрос "как верить?": луче разбираться в приведенных цифрах, улучшить рецензирование и контроль над опытами, улучшить robust design (improves engineering productivity by considering the noise factors and cost of failure to ensure customer, то есть, вообщем, проверять элемент влияния случайных факторов), учить студентов лучше, усилить внутреннюю проверку и так далее. 

Вопрос вам: Если 70% людей невежественны,  то как после этого доверять вообще людям в настоящее время? (Цифру взял из эмпирического исследования проведенного мной за вчерашний вечер, скорей всего мое исследование невоспроизводимо).

-1
Прокомментировать
Ответить