Аня Шишова
январь 2019.
140

Почему статьи Питера Богосян, Хелен Плакроуз и Джеймса А. Линдси, написанные в качестве эксперимента, фейковы и абсурдны, если рецензенты журналов их приняли? Авторы слишком хорошо притворялись?

Ответить
Ответить
Комментировать
0
Подписаться
1
1 ответ
Поделиться
АВТОР ВОПРОСА ОДОБРИЛ ЭТОТ ОТВЕТ

На постнауке была хорошая подборка мнений об этой истории, позволю себе процитировать:

Что мы увидели в этом кейсе? Авторы пранка отправили в журналы статьи, в которых фальсифицировали материалы (эмпирические данные) и, соответственно, результаты исследований. Рецензенты и редакторы предположительно приняли эти статьи потому, что выводы хорошо резонировали с их представлениями о мире, и потому опубликовали довольно быстро. Вероятно, если бы выводы шли вразрез с этими представлениями, статьи ждала бы более сложная судьба — хотя мы этого не знаем, из кейса такое прямо не следует. Очевидно, проблема есть. Журнал может взять такую статью, потому что рецензенты не проверяют эмпирическое поле. Однако отдельные журналы не образуют поле сами по себе — его образуют множество журналов (и монографий), и наука предполагает, что выводы статьи, особенно претендующей на нечто принципиально новое, будут проверены другими авторами, которые опубликуют свои статьи в других журналах. И если там была фальсификация поля, источников, то это вылезет на поверхность рано или поздно (в случае с яркими статьями — скорее рано).

«Фейковые» статьи были отправлены только в журналы, относящиеся к полю критической теории, исследований культуры (cultural studies) и идентичности. У нас нет «контрольной группы», с которой мы могли бы сравнить полученные результаты. Что бы произошло, если бы частью эксперимента стали журналы по географии, экономике, медицинским наукам? У нас нет ответа на этот вопрос. Команда проекта изначально определила, где они могут найти «ненастоящую» науку, и нашла ее именно там, где рассчитывала, не проверяя другие сферы. Может быть, в других дисциплинарных областях фейки было бы сложнее произвести, так как для этого потребовалось бы осваивать более сложные методы. Может быть, правила производства успешных фейковых публикаций в естественных науках оказались бы принципиально отличными от тех закономерностей, которые сработали в случае с науками гуманитарными, и мы бы таким образом узнали что-то важное о различиях между дисциплинами. На самом деле это было бы интересно узнать. Но на имеющемся материале, к сожалению, можно делать только оценочные, а не аналитические выводы.

Есть мнение, что институт peer review в целом плохо способен или не склонен оценивать суть рецензируемых статей. Скорее, оценка производится на основе нахождения или ненахождения знакомых формальных маркеров, включая обязательные ссылки на литературу (в том числе ожидаются ссылки на самих рецензентов) и приписку к принятой научной парадигме. В результате получается, что эта система блокирует инновационные исследования и приводит к воспроизведению конвенций, устоявшегося канона. Не думаю, что это неизбежно так или даже в большинстве случаев так, но подобная критика давно раздается, и не только из уст аутсайдеров. Возможно, стоит думать о реформировании этого института, но понятно, что, скажем, простое увеличение числа рецензентов еще более затянет и без того небыстрый процесс публикации.

В самом конце очень интересная реплика Вахштайна, я к нему неоднозначно отношусь, но нужно отдать должное тому, как он срывает с ситуации покров иллюзорной простоты. Цитировать не буду, потому что вопрос не про это, пусть останется бонусом для тех, кто пройдет по ссылке.

UPD: От себя хотел бы добавить следующее:

Я не думаю, что это проблема конкретных журналов. Предположительно, в любой научной дисциплине можно подделать научную статью и проверять ее на достоверность будут тем меньше, чем меньше в ней содержится чего-то нового. Напишите статью о том, что вы еще раз проверили теорию относительности, каким-нибудь оригинальным способом и вряд ли кому-то захочется проверять, делали ли вы это на самом деле - а даже если и захочется, он получит ваши результаты, ведь теория относительности многократно подтверждена до вас, с чего бы вдруг ваш метод показал бы иное?

Но предположим, что вы написали статью с оригинальными выводами, которые реально сообщают о мире что-то новое, вот только все выводы высосали из пальца. Если после этого у вашей статьи нулевая цитируемость, то сложно говорить, что вы действительно обманули кого-то (кроме рецензентов). Как в старом советском анекдоте "я тоже могу выйти на Красную площадь и крикнуть, что Рейган - мудак". То есть это наиболее простой способ, не заслуживающий внимания - написать то, что окажется никому не интересным, а затем восхищаться тем, что вас никто не разоблачил.

А если кто-то все же обопрется на вашу статью, то он либо быстро обнаружит, что ваши выводы неверны, потому что выведенные из них следствия не обнаруживаются вокруг, либо, если обнаруживаются, что это значит? Возможно, что вы хотели соврать, но случайно сказали правду. Слово Карлу Попперу:

Допустим, что у нас есть гипотеза Н и что она логически очень маловероятна. Это значит, что у нее очень большое содержание, включающее утверждения, относящиеся к различным областям, ранее совершенно не связанным. (Пример: теория гравитации Эйнштейна предсказала не только движение планет по Ньютону, но также и небольшое отклонение орбиты Меркурия, воздействие тяжелых тел на траекторию лучей света и красное смещение спектральных линий в сильных гравитационных полях). Если все эти предсказания успешно проверяются, то нижеследующий аргумент кажется интуитивно здравым и разумным: (1) Вряд ли можно считать случайностью, что теория может предсказать такие совершенно невероятные предсказания, если она не истинна. Отсюда делается вывод, что вероятность ее истинности столь же велика, сколь велика невероятность того, что эти ее успехи объясняются скоплением случайностей. Я не думаю, что аргумент (1) в этой форме может считаться вполне состоятельным, но я полагаю, что в нем все-таки что-то есть.

То есть маловероятно, что ваши выводы случайно совпадают с реальностью, но при этом неверны.

Nikita K.отвечает на ваши вопросы в своейПрямой линии
8
0
Прокомментировать
Ответить
Читайте также на Яндекс.Кью
Читайте также на Яндекс.Кью