Никто Никтович
январь 2017.
30629

Профессор Джон Иоаннидис утверждает, что большинство научных исследований в медицине — ерунда. Так ли это?

Ответить
Ответить
Комментировать
1
Подписаться
13
3 ответа
Поделиться

В ряде областей наблюдается "кризис воспроизводимости", когда независимые проверки не могут подтвердить полученные ранее результаты.

Джон Иоаннидис - один из самых известных специалистов по методологии науки и автор ряда критических заметок о проблемах исследований во многих областях.

Он поднял ряд важных вопросов, ставящих под сомнение многие результаты научных публикаций. Я рекомендую всем, кто занимается наукой, ознакомиться с его статьей Why Most Published Research Findings Are False. Она предостерегает о  многих "подводных камнях", с которыми могут столкнуться исследователи.

Одна из проблем, о которых пишет Иоаннидис - мода на критерий p < 0.05, который часто используется как основной при оценке надежности результатов. Дело в том, что p-value это лишь вероятность получить в исследовании такой же или более выраженный эффект при условии, что на самом деле никакого эффекта нет. Но это значение мало говорит о вероятности того, что некоторая гипотеза верна.

Для иллюстрации.

Пусть каждый тысячный человек болен ВИЧ, и тест говорит, что Вася (не входящий в какие-либо группы риска) болен с p < 0.05. Парадокс: Вася с большей вероятностью здоров, чем болен. Почему? По условию на 1000 человек есть один, который реально болен и 999 здоровых. На 999 здоровых ~50 будут с ложно-положительным диагнозом (p < 0.05). Даже если тест не ошибается на счет больных, на 51 человека с положительным диагнозом, только один на самом деле болен. Вероятность того, что Вася - тот самый больной человек 1/51 т.е. менее 2%.

[Примечание: реальные тесты на ВИЧ намного надежней, а цифры придуманы мной из головы]

Ученые проверяют очень много гипотез, в том числе имеющих малую вероятность быть истинными с самого начала.

Приведу радикальный пример, для иллюстрации.

Исходная (априорная) вероятность того, что гомеопатия работает стремится к нулю (она противоречит хорошо установленным знаниям). Но если вы проведете 20 исследований гомеопатии, одно из них скорее всего даст P < 0.05. Но это ничего не доказывает. Проблема в том, что еще 19 исследований, где нет положительных результатов, могут быть не опубликованы. Или проведены с другими гомеопатическими препаратами, от других болезней. В обоих случаях мы будем иметь ложно-положительный опубликованный результат о пользе гомеопатии.

Но вместо гомеопатии можно подставить и обычное лекарство. Априорная вероятность того, что некоторое наугад взятое соединение лечит, например, рак тоже не велика. Поэтому лучше проверять те препараты, про которые мы уже имеем какие-то основания полагать, что они могут работать.

Другой пример. Мы ищем у пациентов мутацию, которая приводит к болезни. Мутаций очень много. Поэтому вероятность, что одна конкретная мутация связана с болезнью мала. Поэтому положительный результат связи мутация-болезнь в некоторым тесте с высокой вероятностью будет ложно-положительным.

Более свежая статья о проблема p-value называется An investigation of the false discovery rate and the misinterpretation of p-values (David Colquhoun). Автор рекомендует отказаться от порога P <0.05 и, как минимум, перейти к более жестким критериями отбора гипотез (например, в биомедицине если p < 0.001, то вероятность ошибиться сильно меньше). Но это требует увеличения размеров выборок. 

Иоаннидис призывает учитывать исходную (априорную) вероятность гипотезы, при оценке достоверности результатов. Это делается с учетом других наших знаний. 

Отдельно стоит отметить такие проблемы:

Отсутствие поправок на множественные сравнения (чем больше гипотез мы проверяем, тем больше вероятность, что хотя бы одна из проверок даст ложно-положительный результат - это надо учитывать). Если вы проверяете не вызывает ли красная конфетка рак, не вызывает ли зеленая конфетка рак и т.д., то даже если все конфетки безопасны, вы найдете такую конфетку какого-нибудь из десятка цветов, которая по случайным причинам окажется связанной с раком (ложно-положительный результат).

Необходимо независимое воспроизведение. Особенно маловероятных и важных результатов. 

Финансовая заинтересованность в получении положительных результатов может внести свой вклад в долю ложно-положительных результатов исследований.

Снижена вероятность публикации отрицательных результатов. Надо поощрять журналы, которые публикуют нулевые результаты. Медицинские исследования надо заранее регистрировать, а потом проводить. Чтобы ученые могли учитывать работы, не доведенные до публикации. 

Нарушения научной методологии в самих исследованиях - нарушения ослепления, рандомизации, подгонка статистических моделей для получения заветных P < 0.05 и т.д.  Во многих работах эти стандарты нарушены.

И ряд других проблем. 

Вывод примерно такой: если что-то опубликовано в научном журнале - это еще не значит, что это окончательно установлено. Особенно если есть какие-то изъяны в методологии. От критерия P<0.05 надо отказаться в пользу более жестких критериев. Выборки надо увеличить, чтобы мощность исследований была больше. Так будет меньше ложно-положительных результатов.  Давать предварительные оценки вероятности истинности гипотезы до проведения эксперимента.

64
0
Комментарий удален модератором
Прокомментировать

А пока мы ждём ответа от специалиста, можно уверенно предположить, что Джон Иоаннидис не смог бы прочитать все труды медицины, даже за последние 10 лет. Та его статья, вокруг собственно и идёт хайп, ставит под сомнение мед.диагностику, которая используют инструмент статистики. Статистика не может быть настолько точной, что попадание в множество будет давать истинный ответ в диагностике. Может только при достаточно большой выборке, в будущем, когда будет достаточно материала. Думаю для большинства это и так логично.

Сколько мне известно, диагностические аппараты с большей вероятностью ошибаются в пользу ложноположительного результата. И в этом нет ничего страшного, так как ошибиться например в том, что у пациента есть вич куда лучше, чем выдать отрицательный результат при его наличии. Маркеры и предпосылки какой то болезни найти проще в совокупности. Например, для человека с желтой кожей легче сразу выдать ответ, что у него вероятнее всего гепатит, и только при более дательном и глубоком анализе можно уже быть точно уверенным, но это лучше чем ничего.

С точки зрения критики в сторону специальноложных исследование, Джон Иоаннидис более чем справедлив. Но это процветает не только в медицине. Думаю все кто защищал диплом или диссертацию знают, что такое статистика, данные да вся эмпирическая база в исследовании: когда вас просят найти какую то аномалию в цифрах, при этом у вас есть доступ только к плохим данным. Но стоит заметить, что подобные работы максимально редко вносят блок в научный фундамент и чаще просто макулатура (логично, ложные исследования не срастаются с уже существующей теорией).

В общем, лично я считаю, что великим разоблачителем его считать не стоит. Он в каком то смысле просто сказал, что небо не голубого цвета

23
-4
Прокомментировать

Если бы Иоаннидиса не было, его бы следовало придумать. Трудно переоценить то, что он делает для медицинской науки. В данном случае, видимо, речь идет о его статье в журнале PLOS Medicine, которую только на сайте просмотрели более 100 тысяч раз. Именно в ней Иоаннидис говорит о том, что результаты многих исследований, к сожалению, ложны или преувеличены, и что по его оценкам примерно 85 процентов всех затраченных исследовательских ресурсов потрачены впустую. Он разбирает наиболее частые ошибки, показывает, где и в каких случаях желаемое принимается за результат, и, что самое важное и ценное - рассказывает, как можно избежать этих ошибок. Подобная критика всегда нужна, без нее любая наука превратится вот как раз в ту ерунду, о которой вы спрашиваете. И если хотя бы 15 процентов усилий исследователей не пропадает даром даже по оценкам такого прожженного скептика, как Иоаннидис, всё не так плохо, как могло бы быть. Именно они попадают в Кохрейновские обзоры, именно на них создаются глобальные и национальные руководства и рекомендации по диагностике и лечению тех или иных заболеваний.

Также могу порекомендовать как минимум две знаковых работы того же автора: просмотренный почти 2 миллиона раз подробный разбор, почему большинство публикаций содержит некорректную информацию, авторизованный перевод The Brights Russia и оценка ситуации с мета-анализами, авторизованный перевод The Brights Russia. И, как и во всех предыдущих случаях, Иоаннидис не просто указывает на недостатки, но и достаточно четко формулирует методы их устранения. Чем оказывает неоценимую услугу всем исследователям. И пациентам, в конечном счете, тоже.

13
0

Так Тамифлю лечит грипп или нет?

0
Ответить
Прокомментировать
Ответить