Книга «Наукообразная чушь» или вакцина от сциентизма - NoFap-anon/NoFap_russian-manual GitHub Wiki

Медицинский дисклеймер, он же – отказ от ответственности

Данная статья предназначена исключительно для образовательных и информационных целей и не является предоставлением медицинских консультаций или профессиональных услуг. Представленная информация не должна использоваться для диагностики или лечения проблем со здоровьем или заболеваний. Лицам, желающим получить личную медицинскую консультацию, следует проконсультироваться с лицензированным врачом. Всегда обращайтесь за советом к своему врачу или другому квалифицированному медицинскому работнику по поводу состояния здоровья. Никогда не пренебрегайте профессиональной медицинской консультацией и не откладывайте её получение из-за того, что вы прочитали в этой статье. Если вы считаете, что у вас может возникнуть неотложная медицинская ситуация, немедленно позвоните по телефону 03, 103, 112 (или их аналог в вашей стране проживания) или обратитесь в ближайший пункт неотложной медицинской помощи. Данная статья и её использование не устанавливают никаких отношений между врачом и пациентом.

Вступление

«Вакцины против глупости не существует».

Альберт Эйнштейн, физик-теоретик, один из создателей общей теории относительности

Сегодня хотелось бы познакомить вас с книгой «Наукообразная чушь» С. Ричи, которая была переведена на русский в 2024 году [1], а на английском вышла в 2020 [2]. Про книгу всего пару строк написал один пожилой блогер-программист, но что-то в его рекомендации зацепило вашего покорного слугу... И вот результат.

Это невероятно интересная и захватывающая книга для всех, кто связан с наукой непосредственно или интересуется ею с позиции стороннего наблюдателя. Если в вашем сердце с детства существует образ героя-ученого, который сражается с тьмой неизведанного, и образ науки, как источника позитивных преобразований общества и человечества, то мой вам совет – начните читать эту книгу прямо сегодня. Даже прямо сейчас. Не откладывайте это дело. Эта небольшая и местами очень перегруженная информацией книга однозначно стоит вашего внимания и времени.

Почему эта книга важна для нофаперов? Потому что так или иначе, но когда мы говорим о вреде мастурбации и порнографии, то в большинстве случаев ссылаемся на некоторый корпус научных исследований (десятки про вред мастурбации, сотни про вред порно). Разумеется, можно ссылаться на священные писания, эзотерические тексты, личный опыт, обобщенный опыт больших групп нофаперов или что-то еще, но для усредненного современного человека научные исследования выглядят более весомым аргументом.

Почему эта книга важна для людей вообще? Потому что в последние десятилетия (если не столетия при отсчете с эпохи Просвещения) место церкви в обществе де факто заняла наука, которая во многом определяет что человек думает о себе, других людях и внешнем мире, в сопоставимых с ним самим масштабах, а так же масштабах, больших чем Солнечная система и меньших чем клетка человеческого тела (макромир, микромир, мегамир; [3]). Что еще более важно, наука определяет не только «что» человек думает, но и «как» он это делает, в каких понятиях, границах и категориях в большинстве случаев существует его мысль. Разумеется, все это относится преимущественно к т.н. современному цивилизованному обществу, которое уже прошло через множество стадий секуляризации (процесс снижения роли религии в жизни общества; [4]). И в большей степени это относится к областям науки, объектом изучения которых является человек, нежели к тем областям, объектом изучения которых являются животные, космос, химические элементы и т.д.

Цель книги – показать читателю кризис в науке, ряд конкретных проблем, которые сформировали этот кризис, и наметить пути для решения этих проблем. Автор буквально занимается препарированием тела науки, показывая своему читателю все ее язвы, опухоли, гнойники, искривления и прочие приобретенные недостатки, которых не должно было быть в идеале.

Пару слов надо сказать и про самого автора.

Стюарт Ричи, будучи аспирантом в области психологии, решил повторить одно исследование про якобы наличие экстрасенсорных способностей у студентов (человек лучше воспроизводил по памяти случайные слова, показанные ему на экране компьютера, если эти слова после фазы воспроизведения были показаны ему еще раз; словно человеческая память двигалась из настоящего в прошлое). Он не смог воспроизвести результаты этого исследования, столкнулся с трудностями при публикации своего повторного исследования (которое по сути являлось опровержением первичного), и после этого, судя по всему, загорелся идеей выяснить «А что еще в современной науке работает не так?».

В книге автор доходит до невероятно смелых, резких и даже трагичных слов:

«Наука – практика, которая должна отличаться строжайшим скептицизмом, самым острым рационализмом и трезвым эмпиризмом, – стала вместилищем ошеломляющего количества заблуждений, некомпетентности, лжи и самообмана. И при этом основная цель науки – пробиваться как можно ближе к истине – подрывается».

Ниже будут перечислены основные проблемы в современной науке, которые выделил автор книги. После будет идти пересказ с комментариями основных моментов из книги (наиболее интересные затронутые исследования и цитаты из книги). В конце будут обозначены основные недостатки книги.

Внимание! В книге упоминается множество щекотливых и потенциально неприятных для читателя вещей: феминизм, ископаемое топливо, BLM, Ковид, изменение климата, ГМО-растения, вакцины, измерение объема черепов, Дональд Трамп и даже Билл Гейтс! Также в книге «красной линией» протянулась мысль, что во многих проблемах виноват капитализм (автор не пишет это прямо, но это чувствуется), т.к. многие проблемы появляются из-за необходимости ученых получать гранты и высокие позиции в университетах, что идет в комплекте с хорошей зарплатой.

P.s. В оригинале книга называлась менее изящно, но более наглядно: «Научные выдумки: как мошенничество, предвзятость, недобросовестность и хайп подрывают поиск истины». То есть автор в названии буквально пересказал название 4 основных глав из своей книги – просто и доступно.

Конкретные проблемы, которые можно выразить в 1 термине, существующие в современной науке

«Если факты противоречат моей теории — тем хуже для фактов».

Георг Гегель, немецкий философ

Прим. Все непонятные термины будут подробнее объяснены в следующей части статьи, или же разъяснены самим автором в книге.

1]. Кризис воспроизводимости.

Исследование считается невоспроизводимым, когда оно было проведено, оформлено в виде статьи, прошло процедуру рецензирования в журнале, было успешно опубликовано, но в итоге другие ученые не смогли его воспроизвести (повторить), так чтобы получить на выходе близкие результаты. И таких провальных попыток в идеале должно быть несколько.

После того как в психологии был замечен целый корпус исследований, которые не удалось воспроизвести, ученые в 2012 году начали говорить о кризисе воспроизводимости.

Причем этот кризис затронул самые разные разделы науки:

Психология. Воспроизвести удалось от 39% [5] до 77% (автор книги не указал ссылку в этом месте) из всего массива проверяемых исследований (выбиралось от нескольких десятков до сотни исследований).
Социология. Воспроизвести удалось 62% из 21 работы [6].
Микроэкономика. Воспроизвести удалось 61% из 18 работ [7].
Нейронауки. Исследования по функциональной нейровизуализации имеют «незначительную воспроизводимость» [8]. Стат. ошибка в ПО привела к искажению данных в 10% всех исследований в этой области [9] на момент 2016 года.
Эволюционная биология. Не удалось воспроизвести нескольких классических исследований: «синдром одомашнивания» среди лисиц [10], половой отбор у птиц [11].
Биология моря. Провал попыток воспроизвести исследования о влиянии закисления океана на поведение рыб [12].
Органическая химия. Журнал Organic Syntheses с порога отметает 7,5% подаваемых на рассмотрение исследований из-за провалившихся попыток воспроизвести их результаты членом редколлегии [13].
Макроэкономика. Воспроизвести удалось 32,8% из 67 работ [14].
Геонауки. Воспроизвести удалось 6% из 39 работ [15].
Машинное обучение. Воспроизвести удалось 39% из 18 работ [16].
Доклинические исследования рака. Воспроизвести удалось 11% из 53 работ [17].
Биомедецина. Только 1 из 268 случайно отобранных исследований содержало полный протокол исследования, что позволило хотя бы попытаться воспроизвести его [18]. 54% из 221 работы имели серьезные пробелы в описании методологии [19]. 45% метаанализов сообщества Кокрейн показывают, что в исследованиях недостаточно данных для того чтобы определить работает или нет исследуемое средство лечения [20].

Согласно опросу на сайте журнала Nature среди ученых 90% химиков хотя бы раз столкнулись с тем, что у них не получилось повторить исследование других ученых. Среди биологов таких было 80%, среди физиков – 70% [21].

2]. Мошенничество.

Ученые могут фальсифицировать (искажать, подделывать) свои исследования ради славы, высоких позиций в известных университетах, денег, повышения вероятности публикации своего исследования в крупном журнале, из-за необоснованной веры в свои гипотезы и т.д.

Мошенничество может быть:

Прямым обманом. Вранье об улучшении состояния пациентов после экспериментальной операции, описание экспериментов, которые вообще не были проведены.
Подделкой фотографий (даже до появления Фотошопа). 3,8% из 20621 научных статей содержали в себе сомнительные фотоизображения результатов вестерн-блоттинга – часть оказалась честными ошибками, но 10% исследований от найденных в итоге были отозваны [22].
Подделкой статистических данных. Данные придумываются из ничего, данные берутся из старых исследований и слегка изменяются и т.д.

3]. Предвзятость.

Ученые могут несознательно искажать дизайн исследований, сбор, обработку и интерпретацию данных из-за собственных предубеждений (политидеологических, религиозных, расовых и т.д.). Так же несознательное искажение идет из-за желания подтвердить свою гипотезу.

Предвзятость может исходить от грантодателей (например, фарм. индустрии), что ведет к искажению дизайна исследований (например, идет сравнение лекарства только с плацебо, а не с ближайшим по эффективности аналогом). Предвзятость может возникать из-за желания ученого продолжать зарабатывать на своих книгах и платных лекциях. Так же предвзятость может быть групповой, когда одна группа ученых борется против другой из-за расхождения во взглядах на изучаемую область (разные теории возникновения болезни Альцгеймера, сторонники животного мяса против растительного заместителя и т.д.).

4]. Публикационное смещение или «проблема картотечного ящика».

В науке несоизмеримо больше публикуется исследований с положительными результатами, а не с отрицательными. Так же меньше публикуются исследования с малой величиной эффекта и малым размером выборки (которые тоже могут быть невыгодными для публикации из-за p-значения выше 0.05).

Среди причин желание ученых поддерживать на высоком уровне собственные наукометрические показатели (индекс Хирша, количество цитирований его работ и т.д.) и точно такое же желание со стороны научных журналов. Нередко выходит так, что исследование уже проведено, но в итоге его не оформляют в формате статьи и никуда не отсылают, а предпочитают положить в «картотечный ящик» (оставляют навсегда пылиться в цифровых архивах), потому что шанс на публикацию такого исследования ниже и оформление исследования требует драгоценного времени и сил.

Публикационное смещение сильно влияет на метаанализы, т.к. в них ученые пытаются проанализировать от нескольких десятков до нескольких сотен исследований, которые проводились на какую-то общую тему, но выводы метаанализов оказываются искаженными, т.к. в публичном доступе в подавляющем большинстве случаев находятся исследования с положительными результатами, а исследования с отрицательными результатами (и с малой выборкой и величиной эффекта) лежат в чьих-то непубличных частных архивах («картотечных ящиках»).

5]. P-хакинг.

Цитата из книги:

«P-значение – это вероятность, что ваши результаты будут выглядеть так, как они выглядят, или еще лучше, если интересующего вас эффекта на самом деле нет».

P-хакинг можно отнести к одной из разновидностей мошенничества в науке. Термин p-хакинг в науку ввели психологи еще в 2012 году [23].

Для исследований в науке консенсусной нормой считается p-значение <= 0.05 (меньше – лучше). Т.е. это значение позволяет примерно понять с каким шансом ученые получили бы такие же данные по итогу своих экспериментов если бы на самом деле (в объективной физической реальности) изучаемый ими эффект не существовал. Это значение позволяет ученым оценить статистическую значимость наблюдаемого эффекта – не больше и не меньше (именно стат. значимость, а не реальность).

Порог в 0.05 для этого значения установлен еще в 1920-х годах в рамках академического консенсуса (ученые договорились между собой об этом пороге как об общепринятой, удобной, знакомой границе).

Сам по себе p-хакинг является одним из способов мошенничества (осознаваемого или не очень) в науке, при котором в рамках одного эксперимента постоянно собираются новые массивы данных или/и обрабатывается старый массив данных, но каждый раз немного по новому (отбрасывание точек экстремума, перебор различных стат. тестов, набор новых данных для их добавления к старым, перевычисление значений внутри отдельных подгрупп и т.д. вплоть до изменений гипотезы и дизайна исследования «по ходу пьесы») до тех пока заветное p-значение не станет <= 0.05.

Этот метод подразумевает наличие определенных финансовых ресурсов у ученых, т.к. вероятность получить ложноположительный результат с p <= 0.05 при ошибочности проверяемой гипотезы в объективной реальности возрастает с каждым новым тестом (или с каждым новым сбором новых данных). Хитрость в том, что наборы данных, покрытые соответствующими тестами и которые выдают желаемое p <= 0.05, в итоге попадают в публикуемое исследование, а все прочее остается вдали от общественных глаз (стирается или сохраняется в персональных архивах ученых).

6]. Недобросовестность.

Довольно размытый термин, но под ним автор книги подразумевает следующие вещи:

Ученые не внимательно проверяют все стат. расчеты в своих исследованиях, что выявляют алгоритмы проверки стат. значений (речь идет об ошибках в десятках тысяч исследований).
Ученые неаккуратно подходят к проведению самих исследований (например, допуская контаминацию при исследовании клеточных линий).
Ученые проводят исследования с экспериментами над животными с малыми выборками и малой стат. мощностью (т.е. это исследования низкого качества, которые нередко приводят к напрасным смертям животных).
Ученые проводят исследования с плохим дизайном (без рандомизации, ослепления и без сообщения об отсутствии или наличии конфликта интересов, без сравнения исследуемого лекарства с близкими аналогами, а только с плацебо и т.д.).

Рассказывается множество примеров, самый яркий – изучение генов-кандидатов (сотни исследований), которое оказалось классическим примером исследований с малой выборкой и преувеличенным наблюдаемым эффектом.

7]. Хайп.

Не только журналисты перевирают или приукрашают результаты научных исследований – прежде всего это делают сами ученые, наполняя свои пресс-релизы, аннотации к исследованиям и основной текст исследований различными восторженными словами и формулировками, выдавая корреляции за причинно-следственные связи, пытаясь за словесной мишурой скрыть p-величину большую 0.05, перенося результаты исследований на животных (без промежуточных экспериментов) сразу на человека, упрощая и делая ярче выводы исследований и прочее-прочее.

На этом же строятся и многие известные научпоп-книги, которые писали профессора известных западных вузов.

Хайп – следствие системы, в которой ученые и научные организации вынуждены поддерживать свою известность и популярность ради получения финансирования от государств, корпораций, фондов, частных лиц и т.д.

8]. Порочные стимулы.

Среди таковых автор выделяет следующие вещи:

Система «деньги за публикации». Ученым платят деньги за публикацию работ в известных международных журналах; в Китае премии превышают годичный заработок ученого, но эта практика существует во множестве стран.
Оценка ученых по количеству научных публикаций (что ведет к «нарезке» статей, публикации в «хищнических» журналах) и рейтинговости их научных публикаций (это толкает ученных на множество видов мошенничества ради поднятия своего индекса Хирша: самоцитирование, подталкивание к цитированию ученых, чью работу рецензирует мошенник и т.д.).
Журналы заботятся о своем импакт-факторе, гонка за которым тоже стала одним из порочных стимулов (создание «картелей цитирования» из нескольких журналов).

При этом мало кто оценивает ученых с точки зрения их совестливости и ответственности (как часто они применяют p-хакинг, какая величина выборка в их исследованиях, часто ли они используют рандомизирование и ослепление, и делают ли это правильно, используют ли они «нарезку» статей и т.д.).

Пересказ и комментарии к основным значимым элементам книги

Предисловие

«Фундаментальные исследования — это то, чем я занимаюсь, когда не знаю, что делаю».

Вернер фон Браун, создатель Фау-2 и американской космической программы

В самом начале автор рассказывает про исследование 2011 года с более 1000 испытуемых [24], в котором студенты угадывали, что за закрытой на экране компьютера скрывается картинка, а не пустота, в 53,1% случаев, если картинка была порнографической, и в 49,8% случаев, если картинка была обычной. Этот же исследователь провел другой эксперимент (судя по всему, в рамках этого же исследования), согласно которому испытуемые лучше запоминают и затем воспроизводят слова на экране, которые после стадии воспроизведения снова увидят на экране в конце эксперимента (словно люди из будущего посылают самим себе информацию в прошлое).

Автор книги с 2 коллегами-психологами попытался воспроизвести (повторить) эксперимент со словами и у него ничего не вышло. А после у него возникли проблемы при попытке опубликовать это повторное исследование. Что, вероятно, и подтолкнуло его впоследствии на написание этой книги.

При этом крупный психологический журнал (Journal of Personality and Social Psychology, Q1, 434 индекс Хирша), в котором было опубликовано оригинальное исследование, отказался публиковать исследование-опровержение автора книги.

Ученых отстраняли от работы и увольняли из-за отозванных (опровергнутых, неподтвердившихся) исследований.

Некоторые ученые выдумывали данные для своих исследований (соц. психолог Дидерик Стапел; [25]), не проводя никаких экспериментов или наблюдений, а просто придумывая данные в своем кабинете.

Автор пишет, что в других книгах ученые представляются как борцы с мошенниками, аферистами, плоскоземельцами, гомеопатами, креационистами, астрологами и т.д. Но мошенники с аферистами есть и среди самих ученых, проблемы есть в самой науке, о чем говорят недостаточно часто и подробно.

Большинство проблем науки и ученых заметили другие ученые, хотя до какого-то момента (до кризиса воспроизводимости) исследователи мало обращали внимания на воспроизводимость результатов своих и чужих работ.

Автор пишет, что часто будет прибегать к метанауке – «сравнительно новому типу научного исследования, в котором изучается само научное исследование».

Книга посвящена описанию процессов и явлений из-за которых науке уже нанесен существенный урон или он продолжает наноситься, а так же путей «исцеления» науки, т.е. способов устранения этих явлений и процессов.

Глава 1. Как работает наука

«В следующем тесте мы направим на вас сверхпроводник, включенный на полную мощность. Буду откровенен – мы просто бросаем наукой в стенку и смотрим, что прилипнет. Понятия не имею, что получится. Может, и ничего. В лучшем случае, станете суперменом, в худшем – получите пару опухолей, которые мы удалим».

Кейв Джонсон, основатель и генеральный директор компании Aperture Science из игры Portal 2

Автор дает довольно яркое и доступное определение науки, которое сочетает в себе идеализм и прагматизм:

«Наука [...] – это лучший из имеющихся у нас методов для выяснения того, как работает вселенная и как подчинить ее нашей воле. Другими словами, наука – это лучший способ приближения к истине».

Как бы походя поднимается проблема «академического консенсуса», когда за истину принимается то, с чем согласны большинство ученых в определенной области науки (когда-то консенсусной считалась теория флогистона или геоцентрическая картина Солнечной системы; ДДТ когда-то считался вполне безопасным пестицидом, а талидомид – безопасным снотворным).

Кратко описывается возникновение первого научного журнала Philosophical Transactions of the Royal Society [26] в Англии в 1665 году. Он вырос из объединения ученых, который общались с друг другом по переписке, и в начале выглядел как вестник с краткими заметками, а не современный научный журнал.

Если человек хочет поучаствовать в научном процессе, то в начале ему нужно получить образование в интересующей его области, затем сформулировать гипотезу, потом найти финансирование для проведения эксперимента или наблюдения, обработать (при помощи методов из математической статистики) полученные сырые данные, и уже затем приступить к оформлению научной статьи.

В книге кратко описывается обычная структура научной статьи: Аннотация (описание исследование и его результатов), Введение (краткое изложение того, что уже известно в науке на данный момент по изучаемому вопросу), Методы (что и как делалось в рамках исследования), Результаты (демонстрация обработанных данных в виде таблиц, графиков с краткими комментариями), Обсуждение (относительно свободная интерпретация полученных данных), список использованной литературы. Предпоследним пунктом может идти небольшой раздел Конфликт интересов.

Не существует государственного закона, который бы обязывал ученых, редакторов и рецензентов быть честными и беспристрастными в процессе создания научного исследования, его рецензирования и публикации. Есть лишь этические нормы в сообществе ученых, которые предполагают наличие честности и объективности.

Современная практика рецензирования, когда поданное в журнал исследование отправляют на рассмотрение независимым рецензентам, сформировалась только в 1970-е года. Обычно рецензенты работают анонимно, из-за чего они могут быть довольно резкими и ехидными по отношению к рецензируемой работе и ее автору/-ам.

Мертоновские законы (по фамилии ученого – Роберта Мертона; [27]) науки были предложены чтобы хоть как-то формализовать поведенческие и моральные нормы для ученых. Это принципы, которыми должна обладать наука в идеале:

Универсализм. Научное знание не зависит от того, кто его формулирует, при условии что методы обретения знания надежны.
Бескорыстность или незаинтересованность. Ученые должны заниматься наукой не ради денег, по политическим или идеологическим причинам, ради славы, повышения самооценки и т.д., а ради лучшего понимания Вселенной.
Коллективизм или коммунизм. Ученые должны делиться знаниями с друг другом.
Организованный скептицизм. Любое научное утверждение должно подвергаться сомнению, ничто не должно приниматься на веру.

Описывается довольно трогательный случай с одним ученым, который на старости лет публично признал реальность комплекса Гольджи в клетке, увидев доклад другого ученого, хотя до этого много раз описывал этот комплекс как некую погрешность наблюдений.

Карл Поппер говорил о необходимости воспроизведения исследований для подтверждения их надежности. Хотя Поппер не был оригинален – химик из 18 века Роберт Бойль говорил о том же самом и старался многократно повторить свои эксперименты, в том числе перед толпой зевак, призывал других ученых повторять его наблюдения и эксперименты.

Однако, где-то между Бойлем и нашими днями принцип проверки исследований (воспроизводимости) был подзабыт.

Глава 2. Кризис воспроизводимости

«Факт – это простое утверждение, в которое все верят. Он невиновен, если не признан виновным. Гипотеза – это новое предположение, в которое никто не хочет верить. Она виновна, пока не будет признана эффективной».

Эдвард Теллер, американский физик-теоретик

Эффекты психологического прайминга Канемана (автор книги «Думай медленно, решай быстро»; [28]) не удалось подтвердить в рамках повторных исследований. Провалились попытки повторить исследования о денежном прайминге [29] и «эффекте леди Макбет» [30], т.к. в новых исследованиях [31][32] были использованы технически более совершенные методы и более крупные выборки.

Эми Кадди с ее «позой силы» [33] тоже не прошла проверку повторными исследованиями [34]. Человеку становилось лучше не из-за «позы силы», а из-за выпрямления спины. Поза выглядела как широко расставленные ноги и руки, упертые в бедра.

Сам термин «кризис воспроизводимости» стал популярным в 2010-2012 годах благодаря критике вышеописанного исследования с «мыслями из будущего» и «экстрасенсорного восприятия» [35] и ряда других исследований из психологии. При этом врач-эпидемолог и статистик Джон Иоаннидис еще в 2005 году забил тревогу по поводу воспроизводимости биомедицинских исследований [36].

Автор книги упоминает знаменитый «Стэнфордский тюремный эксперимент» Зимбарго [37], но не говорит о том, что его не удалось воспроизвести. Вместо этого в 2019 некий режиссер-ученый предоставил «неизвестную расшифровку видеозаписей, на которых Зимбардо вмешивается непосредственно в эксперимент, раздавая своим "охранникам" очень точные инструкции, как себя вести» [38].

Люди продолжают ссылаться на исследования, которые не удалось воспроизвести, и цитировать книги, в которых приводятся результаты этих исследований.

Кризис воспроизводимости подрывает репутацию науки и может привести к прямому ущербу для человеческого здоровья в случае с медицинскими исследованиями.

Цитата из книги:

«Вышедшая в 2005 году статья Джона Иоаннидиса, занимающегося метанаукой, носила драматическое название "Почему большинство опубликованных результатов исследований неверны", и представленная там математическая модель выявила именно это: как только вы принимаете в рассмотрение, сколько есть способов, какими научные исследования могут пойти не так, любое конкретное утверждение в научной статье с большей вероятностью оказывается ложным, а не правильным».

Глава 3. Мошенничество.

«Ученые, которые мошенничают в науке, нарушают главное правило: наука – это поиск истины».

Элизабет Бик, голландский микробиолог, известная выявлением случаев мошенничества с фотографиями в научных публикациях

Мошенничество в науке влечет за собой воровство и растрату частных и государственных средств, трату времени ученых на расследование случаев мошенничества, разрушение карьеры коллег-ученых (которые работали вместе с мошенником), «загрязнение» научной литературы (т.к. на мошенническое исследование могут активно ссылаться до его отзыва), смерть пациентов из-за экспериментальных методик (основанных на мошеннических исследованиях) и иногда даже самоубийство ученых, которые не знали об обмане коллег вместе с которыми они проводили исследование. Случаи мошенничества деморализующе действуют на других ученых.

Описывается история хирурга Паоло Маккиарини, который придумал засеивать стволовыми клетками искусственную трахею для ее не отторжения тканями донора. В итоге его операции привели к смерти нескольких десятков пациентов, включая детей. Первую статью про свое «открытие» он опубликовал в 2008 году в The Lancet [39], расследование его деятельности со стороны группы врачей началось только в 2015 году [40], а шведская прокуратура возобновила расследование в его отношении в 2018 году [41]. При этом Каролинский институт, который нанял его как «восходящую звезду», долгое время защищал его от нападок и критики (из института он был уволен в 2016 году). То же самое делал и The Lancet.

Другой мошенник был вскрыт в 1974 году, когда обнаружилось что он просто подкрашивал краской шкурку лабораторных мышек, выдавая это за решение проблемы отторжения донорских тканей [42].

Описывается случай биолога Хван У Сока, который в 2004 году на страницах Science заявил (автор книги не указал ссылку), что смог клонировать линии стволовых клеток. Его поймали на дублировании изображений в статьях [43] и воровстве денег, которые были выделены на исследования. После чего его уволили из престижного университета и даже завели уголовное дело, но он отделался условным сроком и в итоге устроился в менее престижный университет.

Другой скандал случился в 2014 году с японскими учеными из института RIKEN [44]. Они рассказывали о новом быстром способе получения стволовых клеток из зрелых клеток. Их тоже поймали на дублировании изображений [45]. Один ученый покончил с собой, другие уволились.

Мошенничество бывает и с данными. В исследованиях, в которых честно проведены эксперименты или наблюдения и затем собраны данные, встречаются погрешности измерения (например, человек может сгорбиться при измерении роста) или ошибки выборки (подбирается выборка с сильным смещением, которая плохо отражает ситуацию в популяции в целом или в множестве объектов, изучению которых посвящено исследование). В сфабрикованных данных мошеннических исследований этих погрешностей нет (или же они отличаются от естественных), данные в этих исследованиях выглядят слишком «приглаженными».

Описывается исследование [46] 2014 года в Science, в котором утверждалось, что если человека опрашивает гомосексуалист, то у опрашиваемого человека положительно менялось мнение об однополых браках, по сравнению с опросами, которые проводил гетеросексуал. Оказалось, что автор этого исследования просто скопировал данные (разброс значений) из более раннего исследования [47]. Исследование было отозвано, автор уволился из Пристонского университета.

Научные исследования иногда отзывают, помещая поверх страниц исследования крупную надпись RETRACTED (отозвано). По данным сайта Retraction Watch наиболее часто их отзывают по следующим причинам: «конфликт интересов», «поддельное авторство», «неправомерные действия автора», «порча материалов и образцов», «судебное разбирательство» [48]. В редких случаях сами авторы исследования отзывают его после публикации. К концу 2023 года в БД Retraction Watch было собрано более 50 тыс. записей.

Данные Retraction Watch показывают, что 2% ученых отвечают за 25% всех отозванных статей (т.е. мошенники-ученые выпускают несколько мошеннических исследований пока их не расскроют; [49]). При этом приходиться всего 4 отозванных статьи на 10 тыс. опубликованных (0,04%).

Сайт Retraction Watch начал свое существование в 2010 году, что совпадает с возрастанием внимания к проблеме воспроизводимости в те года.

Одно исследование 2009 года [50], объединившие результаты 18 опросов (возможно, здесь автор привел неверную цитату, т.к. в исследовании написано про 18 опросов, а в книге – про 7), показало, что из опрошенных ученых 1,97% признались, что хотя бы 1 раз занимались подделкой данных, а 14,1% признались, что знают других исследователей, которые занимались подделкой данных.

Одно исследование из 2018 года показало, что мошенничество с подделкой изображений Вестерн-блотов чаще всего происходило в Китае и Индии [51]. Вероятно, это происходит из-за менее строгих наказаний ученых-мошенников со стороны закона и общества (репутационный ущерб). Но в 2017 году в Китае суды запросили смертную казнь для некоторых ученых-мошенников.

Исследование 2014 года продемонстрировало [52], что клинические исследования акупунктуры в Китае дают положительные результаты в 100% из рассмотренных 7085 работ, из-за чего американский невролог в рамках записи в своем блоге в 2019 году [53] выразил сомнение о «возможностях для процветания науки в тоталитарных государствах».

Парадоксально, но некоторые мошенники могут слишком сильно заботиться о научной истине (в своих исследованиях), слишком сильно верить в истинность собственных гипотез, и из-за этого начинают подделывать данные.

В 2001-2002 годах была раскрыто мошенничество с открытием «углеродных транзисторов» [54]. Физик Ян Хендрик Шён выдал себя подделкой данных, которые оказались слишком «аккуратными» для случайных, и использованием одного и того же рисунка для иллюстрации 2 разных экспериментов в разных исследованиях [55].

В 1998 году в журнале The Lancet вышло исследование Эндрю Уэйкфилда о связи комбинированной вакцины от кори, паротита и краснухи с возникновением аутизма у детей [56]. Но дальнейшие исследования не смогли воспроизвести этот эффект [57]. Также выяснилось, что автор исследования подделал или исказил мед. данные о детях, которые были испытуемыми в его исследовании [58]. При этом у ученого были и финансовые мотивы для совершения этого мошенничества. Оригинальная статья была отозвана только в 2010 году, в том числе из-за сопротивления The Lancet.

Публикация в Science, Nature и The Lancet не является 100% гарантией того, что исследование не является мошенническим.

Автор пишет, что самое страшное в случаях мошенничества в науке то, что мы можем рассуждать и оценивать лишь те случаи, которые уже надежно вскрыты и опровергнуты. О скольких случаях мошенничества мы еще не знаем?

Глава 4. Предвзятость.

«От молодых исследователей, которые приходят в эту область, требуется поддерживать ее коллективные вымыслы (включая подавление данных, которые ставят их под сомнение). Научная приверженность истине презирается как застывший артефакт старых белых мужчин. Вместо этого карьера и вклад оцениваются по их соответствию определенным политическим идеалам».

Рой Баумейстер, американский социальный психолог [59]

История с измерением черепов – это просто какая-то феерия. Сэмюэль Мортон (ученый и врач) в середине 19 века измерил объем черепов скелетов разных человеческих рас при помощи горчичных зерен и свинцовой дроби [60]. В 1978 году палеонтолог Стивен Гулд решил развенчать это исследование и предложил «вероятный сценарий», согласно которому ученый из 19 века допустил ряд ошибок в дизайне исследования: включал в некоторые группы слишком много женских черепов, которые меньше по объему мужских черепов, и больше встряхивал европеоидные черепа чтобы в них вошло больше зерен, а для всех прочих черепов делал меньше этих встряхиваний [61]. Уже в 2011 году уже антрополог Дженсон Льюис [62] пошел еще дальше и заново измерил объем этих черепов (они лежали в музее) при помощи крошечных акриловых шариков. В итоге он выявил ошибки у самого Гулда, который в одной из своих книг откровенное признался в «сильной приверженности идеям социальной справедливости и либеральной политики» (одно из проявлений полит. предубеждений среди ученых).

В 2010 ученый подсчитал [63] на базе 2500 статей сколько позитивных результатов приходится на разные области науки. Самый низкий процент (70.2%) приходился на космические исследования, самый большой на психологию и психиатрию (91.5%).

Публикационное смещение – еще одна проблема науки [64]. Ученые зачастую (чаще чем исследования с позитивным исходом) не оформляют в формате готовой статьи (или не подают ее в журналы) то исследование, которое показало отрицательные результаты или отсутствие таковых. Редакторы тоже реже принимают такие исследования к публикации.

Дальше автор объясняет, что такое p-значние (или p-величина). Он дает такое определение: «P-значение – это вероятность, что ваши результаты будут выглядеть так, как они выглядят, или еще лучше, если интересующего вас эффекта на самом деле нет». Общепринятым (на основании консенсуса среди ученых) является стандарт в 0.05 (5%) для обнаруженного эффекта или меньше. Это значение было предложено в 1920-х годах.

Все что ниже или равно 0.05 вызывает оптимизм и направляется в журналы, все что выше – будет отправлено в «картотечный ящик» с высокой вероятностью (разумеется, есть исключения).

Далее автор говорит про величину эффекта, но как-то не особо раскрывает суть термина, поэтому лучше определение взять из другого места:

«Величина эффекта (англ. effect size) – показатель, характеризующий силу экспериментального воздействия, т. е. влияния независимой переменной на зависимую. Одним из способов оценки В. э. служит показатель d Коэна (Cohen, 1977), который определяется как разность между двумя средними значениями (напр., для экспериментального и контрольного условий), деленная на общее стандартное отклонение. Примерные оценки: менее 0,2 – слабый эффект, ок. 0,5 – средняя В. э. и более 0,8 – сильные эффекты» [65].

Размер выборки – количество субъектов или объектов изучения, включенное в исследование [66]. Исследования с большой выборкой имеют больше шансов подобраться к эффекту, который является истинным для всей популяции.

Публикационное смещение можно увидеть графически, если взять набор исследований, расположить их на графике в виде точек, где ось X будет отвечать за величину эффекта, а ось Y – за размер выборки. Получится воронкообразная диаграмма. Тогда будет видно, что в левом нижнем квадрате (малая выборка, малый эффект) подозрительно мало исследований или их нет вовсе. Многие исследования из этого сектора не были опубликованы.

Публикационное смещение и проблемы с воспроизводимостью проявились при изучении исследований «романтического прайминга» (когда мужчина видит фото красивой женщины, то он становится более склонным к рискованному и потребительскому поведению; [67]). Это смещение было найдено и при изучении исследований, изучающих прогностические тесты при раке [68] и маркеры заболеваний сердечно-сосудистой системы [69].

В 2014 ученые из Японии выяснили [70], что в 31% из 116 медицинских метаанализов даже не проверялось возможное наличие публикационного смещения (после проверки оказалось, что в 19% из этих метаанализов публикационное смещение действительно было). В 2017 было исследовано [71] 182 метаанализа на тему рака, из которых такая проверка не была проведена в 72% работ.

В том же 2014 году политологи из США проанализировали [72] 221 исследование, которые проходили через государственную программу подачи заявок (вероятно, на гос. гранты). Чтобы заглянуть в «картотечный ящик» они связались с теми учеными, которые оставили заявку, но не опубликовали в итоге исследование, и выяснили, что среди всех исследований 41% приходился на исследования с положительным результатом, 37% – с неоднозначным, 22% – с отрицательным. Среди опубликованных исследований эти значения выглядели как 53%, 38% и 9% (исследование с положительным результатом имело шанс быть опубликованным на 44% выше, чем с отрицательным). 65% исследований с отрицательным результатом даже не оформлялись в виде статьи.

Автор подчеркивает, что отрицательный результат – тоже результат. Ведь на его получение были потрачены чьи-то деньги, силы и время, в медицине люди могли принимать экспериментальные лекарства, а в биологии под нож могло пойти n-ое количество животных.

Некогда знаменитый американский диетолог Стивен Вонсинк (или Уонсинк) в одном письме своему коллеге беспокоился, что эксперименты показывают p-значение = 0.06, и просил в связи с этим слегка «подкрутить» данные [73]. В итоге большого скандала многие его работы были отозваны, а он сам был уволен с профессорской должности.

HARKing, Hypothesising After the Results are Known (формулирование гипотезы уже после получения результатов) – еще один вид мошенничества, когда ученый сначала видит случайные интересные эффекты в процессе исследования (данные прогоняются через множество стат. тестов), а уже после придумывает под них гипотезу. Таких ученых сложно поймать, если дизайн исследования не был предварительно зарегистрирован и опубликован.

В 2012 году был проведено исследование с опросом 2000 психологов [74], который показал что 65% опрошенных хотя бы раз собирали данные по нескольким исходам, но не публиковали все, 40% исключали определенные точки из массива данных, 57% собирали дополнительные данные после первичного анализа (вероятно, для улучшения его результатов в рамках p-значения). Похожие результаты показали исследования с опросами экономистов [75] и статистиков из биомедицины [76].

В том же 2012 году было проанализировано [77] 3627 исследований из 3 разных журналов по психологии на предмет p-значений в них. В итоге оказалось, что «гораздо чаще встречались значения p сразу ниже 0.05, чем можно было бы ожидать, исходя из количества значений p, встречающихся в других диапазонах». Т.е. в разных исследованиях было подозрительного много значений p-величины чуть ниже заветного значения 0.05 (0.04, 0.045, 0.049).

P-хакинг приводит к тому, что исследование показывает эффект внутри конкретного набора данных (на конкретной выборке), а не внутри нашей общей объективной реальности (на общей популяции или на всех объектах изучаемого множества).

Хорошая цитата из книги:

«Основная цель в науке состоит в том, чтобы убедить других ученых, что вашу модель, теорию или исследование следует принимать всерьез».

Высказывание палеонтолога С.Д. Гулда:

«Подозреваю, что неосознаваемые или слабо ощущаемые жульничество, искажение и манипулирование данными широко распространены, повальны и неотвратимы в профессии, присваивающей статус и авторитет за аккуратные и недвусмысленные открытия» [78].

Исследователи работ по экономике и управлению обнаружили [79] нечто вроде «окукливания», когда наборы данных проведенных экспериментов из диссертаций «причесывались» перед финальным оформлением в виде исследования и отправкой его в журналы.

Физик Сабина Хоссенфельдер пишет в книге «Уродливая Вселенная» [80][81], что теория струн из физики страдает от схожих проблем, т.к. построена на элегантных моделях, которые строились именно для своей красоты (убедительности), а не для проверяемости.

Даже т.н. «золотой стандарт» исследований в медицине в виде двойных слепых рандомизированных плацебо-контролируемых клинических исследований бессилен перед мошенничеством с данными на этапе их анализа.

Цитата из книги:

«С 2005 года Международный комитет редакторов медицинских журналов постановил, что все клинические исследования на людях должны регистрироваться в публичном доступе прежде, чем будут проведены, – иначе в большинстве топовых медицинских журналов их не допустят до публикации» [82].

Это сделано для уменьшения проблемы с публикационным смещением и p-хакингом.

В 2015 году был запущен проект «Сравни испытания» (COMPare Trials; [83]), который сосредоточился на анализе 67 исследований. В итоге было выявлено, что лишь в 9 опубликованных исследованиях было указано все, о чем было завялено, 354 запланированных исхода/результата попросту исчезли (хотя они были указаны в опубликованных планах), а 357 исходов возникли словно «из ничего».

В 2017 канадские ученые проанализировали [84] 860 исследований на тему анестезии и выявили, что в 92% исследований исследователи «переключили» как минимум 1 исход (вероятно, удалили предварительно заявленный в пользу незаявленного) в сторону статистически более значимых исходов.

Цитата из книги:

«Вспомним обсуждавшиеся выше метаанализы. Даже если не учитывать тот факт, что некоторые исследования часто исчезают из-за публикационного смещения, общий, совместный эффект – призванный служить надежным обобщением всего накопленного знания в данной области – окажется далек от реального, когда все включенные в метаанализ работы приукрашены p-хакингом. Вероятно, вы задаетесь вопросом, как врачам и их пациентам верить медицинской литературе, настолько пропитанной предвзятостью, за исключением меньшинства четких, хорошо воспроизводимых результатов. Мой ответ: не имею ни малейшего представления».

Интересное исследование [85] вышло в 2015 году с анализом источников финансирования для зарегистрированных клинических исследований в США. Были взяты работы с 2006 по 2014 год, всего было проанализировано 126200 исследований. В итоге за 8 лет доля финансирования от NIH (Национальные институты здоровья, государственная исследовательская структура в США, занимающаяся проблемами биомедицины и здравоохранения) упала с 14.8% до 5.7% (доля от всех исследований за конкретный год), от других фед. агентств США доля упала с 2.8% до 1.8% и даже доля от фарм. индустрии упала с 49.2% до 35.6%. Все это скомпенсировалось ростом финансирования от «Всех остальных» источников: частные лица, университеты, организации. В 2006 году эти «Все остальные» оплачивали 34.8% исследований, в 2014 – 57.6%.

Цитата из этого исследования:

«В-третьих, категория всех прочих спонсоров неоднородна. В нее входят неамериканские правительственные агентства, организации, университеты и другие спонсоры, в основном из-за пределов США».

Очень странно. Транснациональная бигфарма маскируется под НКО и донаты от частных лиц чтобы не оставлять свои «пальчики» на пробирках? Или иностранным правительствам и корпорациям выгоднее проводить исследования в США, чем в родных странах? Если так, то почему?

Исследование [86] 2003 года показало, что на 1 успешное исследование, которое финансировало государство или НКО, приходиться 1.27 успешных исследований, которые финансировали фарм. компании.

Исследование [87] из 2010 года показало, что из 577 мед. исследований с финансированием от бигфармы только в 18 шло сравнение эффектов от активных вмешательств (лекарств) от разных корпораций. Т.е. в подавляющем большинстве исследований шло сравнение эффекта лекарства только с плацебо (без сравнения с несколькими другими близкими по эффективности лекарствами) и большинство исследований (82%) имело только одного отраслевого спонсора.

Исследование [88] 2013 года выявило, что исследования с финансированием от фарм. индустрии чаще попадают в «картотечный ящик» (не публикуются). Было проанализировано 585 исследований, с финансированием от фарм. индустрии не было опубликовано 32% (от всего количества профинансированных фарм. индустрией), среди исследований, которые получили гранты из других источников, этот показатель равнялся 18%.

Цитата из книги:

«Многие ученые строят успешную карьеру на базе своих научных результатов, выпуская книги-бестселлеры и регулярно получая пяти- или шестизначные суммы за лекции, бизнес-консалтинг и речи на церемониях вручения дипломов в университетах».

И сразу следом идет другая интересная информация от автора:

«Я иногда посещаю цикл лекций в своем университете, и там предусмотрен ланч, всегда четко обозначенный как "ланч не от фармкомпаний". Вот как медицинские исследователи боятся невольно принять что-либо в дар от фармацевтических компаний – подарки, которые пришлось бы указывать в разделе "Конфликт интересов" каждой своей статьи».

В самом конце исследований как правило находится раздел «Конфликт интересов», в котором указываются все случаи, в которых ученые, например, получали деньги от фарм. компаний за консультации (чаще всего пишется что «Конфликт интересов отсутствует»). Но в этом разделе не нужно указывать доходы за продажу книг, публичные лекции, бизнес-консалтинг и речи на церемониях вручения дипломов. Если яркая теория «кормит» ученого, то он будет делать все для подтверждения и защиты ее от критики.

Ближе к концу главы описывается борьба ученых [89], стоящих на позиции амиловидной теории возникновения болезни Альцгеймера (старые ученые со связями), с теми учеными, которые не согласны с ней. Борьба выражается в разгромных рецензиях на исследования противников и подрыве попыток найти финансирование для ученых из противоположного лагеря. Вероятно, все это происходит из-за искренней веры ученых в истинность этой теории. Принцип организованного скептицизма не работает в подобных случаях (хотя казалось бы, да?).

На исследования влияет и политические взгляды ученых (хотя в идеале все это должно оставаться за порогом лабораторий). В США среди психологов на 10 либералов приходиться 1 консерватор. Это влияет на рецензирование и выбор целей для исследований.

Вероятно, полит. предубеждения повлияли на исследования угрозы подтверждения стереотипа, а конкретно – на исследования эффекта, согласно которому девочки хуже пишут тесты по математике, когда им напоминают о стереотипе о том, что мальчики в математике сильнее. В метаанализе 2015 [90] года в 26 исследованиях по этой теме было выявлено публикационное смещение, что может объясняться либеральными взглядами большинства психологов, которые предпочитают не публиковать исследования по этой теме со слабыми или отрицательными результатами.

Кстати, сам автор книги имеет классические либеральные взгляды или взгляды либерального демократа (обычно он оказывается в левой половине нижнего правого квадрата на сайте Political Compass).

Автор выступает за снижение предвзятости среди ученых в целом, а не попытки уравновесить одну предвзятость другой. Он считает, что не стоит насильно засовывать консерваторов в психологию или женщин-ученых в те области науки, где их мало.

Глава 5. Недобросовестность

«Если достаточно долго мучить данные, они признаются [в чем угодно]».

Рональд Коуз, английский экономист

В 2010 году вышло экономическое исследование [91], согласно которому стране нужно удерживать объем суверенного долга на уровне не выше 90% от ВВП для устойчивого роста этого ВВП. Только в 2013 году в исследовании были найдены ошибки (не были учтены долги 5 стран и еще несколько ошибок; [92]), что почти обнулило его результаты.

В 2016 году голландские ученые создали алгоритм statcheck [93] для проверки согласованности между собой p-значения и других величин в исследовании (в случае мошенничества или честных ошибок эти показатели не будут согласованы между собой). В рамках своего исследования [94] 2015 года они проанализировали 30717 работ из 8 главных журналов по психологии с 1985 по 2013 год. Алгоритм показал, что в 54% работ содержалась минимум 1 числовое несоответствие, в 13% случаев были допущены серьезные ошибки, которые могли полностью изменить интерпретацию результатов. Несоответствия, как правило, были в пользу авторов исследований, т.е. ошибки делали результаты более согласующимися с основной гипотезой.

Таким образом получается, что недобросовестность связана с предвзятостью. Если результаты анализа данных расходятся с основной теорией, то они тщательно проверяются, если подтверждают, то проверка уже не такая тщательная.

В 2016 году был разработан другой тест под названием GRIM (Granularity-Related Inconsistency of Means, тест на несогласованность средних значений, связанный с гранулярностью; [95]). Он проверяет возможно ли среднее арифметическое на основе набора чисел, исходя из их количества (среднее число из 2 чисел может после запятой содержать в себе только .00 или .50 и т.д.). Создатели теста проверили 71 работу по психологии (опять психологи страдают), и выяснили, что в половине статей приводилось минимум 1 неверное среднее число. Этот тест не прошло даже знаменитое исследование о когнитивном диссонансе из 1959 года.

В 2012 анестезиолог Джон Карлайл разработал стат. алгоритм для проверки действительно ли рандомизированное исследование является рандомизированным (экспериментальная и контрольная группа должны минимально различаться между собой; большие различия говорят о поломанном дизайне, идентичность между группами – о вероятном мошенничестве; [96]). В том же 2012 году он разоблачил другого анестезиолога, у которого было отозвано 183 исследования [97]. В 2017 году он прогнал через свой алгоритм 5087 медицинских исследований, и обнаружил ошибки в 5% работ [98].

Главное, что все эти алгоритмы работают без доступа к «сырым» или исходным данным (raw data), которые далеко не всегда публикуются.

Исследование [99] 2006 года показало, что этими данными согласны поделиться только 26% из опрошенных авторов 249 исследований по психологии.

Контаминация (смешивание клеток из разных клеточных линий из-за замусоренности лаборатории, недостаточной стерилизации оборудования и т.д.) является серьезной проблемой в научных исследованиях.

В исследовании [100] 2017 года ученые обнаружили 32755 статей, которые сообщали об исследованиях с ошибочно идентифицированными клетками. Серьезные проблемы с контаминацией есть в исследованиях как из Китая, так и из США. Журнал Nature в своей редакционной статье [101] 1981 года преуменьшал эту проблему, но с тех пор с 2010 года каждые 2-3 года в крупных журналах выходили редакционные статьи с призывом к ученым обратить внимание на контаминацию. Из-за контаминации лабораторных образцов, которая является следствием некомпетентности и недобросовестности отдельных ученых, тормозится изучение рака.

По морально-этическим соображениям особенно аккуратно дизайн исследования нужно формировать при экспериментах на животных (потому что в большинстве случаев это означает эвтаназию, т.е. убийство животных).

В 2015 году было проведено исследование [102], которое показало что в случайной выборке из 146 исследований с Пабмеда в 20% исследований проводилась рандомизация групп, в 3% применялся метод ослепления и в 10% сообщили о конфликте интересов. Одновременно в рамках этого же исследования было проанализировано 2671 исследование с экспериментами над животными, в которых вышеуказанные параметры выглядели как 24.8%, 29.5% и 11.5%. При этом было выяснено, что в среднем исследования с правильной рандомизацией и ослеплением показывали меньшую величину выявленного эффекта. Только в 0.7% работ ученые писали о том как именно они определили сколько животных они включат в эксперимент (что открывает ворота для p-хакинга и может привести к низкой стат. мощности исследования, которая зависит от размера выборки).

Автор пишет, что для исследования слабого (неочевидного, незаметного) эффекта нужна большая выборка. Судя по всему, практически всегда чем больше выборка – тем лучше.

В 2013 году было выпущено исследование [103], которое продемонстрировало недостаточную величину выборок в нейробиологических исследованиях. В частности, в случае с исследованиями прохождения мышей через лабиринт средняя выборка равнялась 22 и 24 особям (для водного и радиального лабиринта), но для достижения стат. мощности в 80% в исследованиях должно было быть задействовано 134 и 68 особи, а для 95% – 220 и 112.

Цитата из книги:

«Еще в масштабных обзорах обнаружилось, что недостаточная статистическая мощность – обычное дело для медицинских испытаний, биомедицинских исследований в целом, экономики, нейровизуализации, исследований в области сестринского дела, поведенческой экологии и – какой сюрприз! – психологии» (здесь идет пулеметная очередь из ссылок, ищите в самой книге в сноске №458).

Недостаточная стат. мощность (малая величина выборки) ведет к тому, что исследования с малыми выборками или обнаруживают эффект с малой величиной, после чего их скорее всего отправят в «картотечный ящик» (не опубликуют), или эффект с преувеличенной величиной, который не был бы таким большим, если бы выборка была достаточно большой. В итоге ученые смотрят на эти исследования с маленькой выборкой и большим эффектом и думают, что и сами могут провести такое же, т.е. воспринимают подобные исследования чем-то вроде примера для подражания.

В 2018 вышло исследование [104] с анализом 136 тыс. клинических испытаний показало, что в этих работах наблюдаемый эффект обычно от малого до среднего (d-значение Коэна как 0.2 и 0.5) размера. Это еще раз подчеркивает важность больших выборок и большой стат. мощности для создания воспроизводимых исследований.

Исследования генов-кандидатов – еще один пример того как ученых (и общество в целом) ввели в заблуждения работы с низкой стат. мощностью. Примерно до 2010 года научная литература наполнялась исследованиями, которые вроде бы убедительно связывали вариации в конкретном гене с теми или иными особенностями человеческой психики (шизофрения, депрессия, высокие показатели при прохождении когнитивных тестов и т.д.). Но затем технология шагнула вперед, в исследованиях стало возможным изучать ДНК от тысяч и десятков тысяч людей, причем изучать с помощью полногеномного поиска ассоциаций (одновременное изучение тысяч участков ДНК, а не 1 или нескольких генов-кандидатов). В итоге выяснилось, что сложные психические признаки у человека связаны с вариантами в тысячах разных генов, а не с одним геном-кандидатом [105]. Устоял только 1 ген-кандидат – вариация в гене APOE, которая, судя по всему, связана с риском развития болезни Альцгеймера [106]. Удивительно, но статистик Рональд Фишер еще в 1918 году предположил, что сложные признаки должны быть полигенны, т.е. зависеть от тысяч генов.

К сожалению, низкая стат. мощность и малая выборка в биомедицинских исследованиях над животными (из области нейронаук, например) обусловлены низкими бюджетами, особенно когда исследование проводят молодые ученые. Но они вынуждены это делать чтобы привлечь к себе внимание на конкурентном рынке труда.

Такие исследования (с малой выборкой) зашумляют научную литературу и науку в целом, а исследования на животных ведут к их напрасным смертям. Хоть это и звучит жестоко, но лучше провести 1 исследование с большой выборкой из умерщвленных в процессе животных, чем сделать несколько исследований с малой выборкой, которые в итоге не будут воспроизводиться.

Ученые вроде бы хорошо знают еще со времен студенческой скамьи о важности рандомизации, ослепления, большой стат. мощности, недопущении контаминации, и о том как важно перепроверять все мат. подсчеты перед отправкой работы на рецензирование. Но все равно совершают эти ошибки из года в год в огромных масштабах.

Глава 6. Хайп

«Что такое научная журналистика сегодня? Это когда люди, которых выгнали из аспирантуры, рассказывают тем, кто не собирается в нее поступать, какими классными вещами занимаются те, кто ее окончил».

Виктор Вахштайн, российский социолог, признан Минюстом РФ иностранным агентом [107]

В 2010 году журнал Science опубликовал статью [108] исследователей из НАСА, в которой утверждалось, что в калифорнийском озере Моно найдены бактерии, которые размножались в среде без фосфора и в своей ДНК в процессе эволюции смогли заменить фосфор на мышьяк. На пресс-конференции НАСА (и в пресс-релизе) эти исследователи рассыпались в невероятно ярких и многообещающих выражениях, рассказывая, что их открытие «приоткрыло дверь к возможным формам жизни в других уголках Вселенной». В итоге их «открытие» было разоблачено [109] как очередное проявление контаминации и невнимательности при проведении экспериментов.

Хайп в науке – следствие сложившейся системы, в которой научные учреждения и отдельные ученые вынуждены поддерживать свою медийную активность для упрощения в будущем поиска новых грантов, т.е. – денег.

Цитата из книги:

«Похожие требования предъявляются, разумеется, и к ученым. Они зависят от грантов на поддержку своих исследований и работают в атмосфере поощрения ярких и парадных результатов, а не трудов ломовой лошади, которые увеличивают наше знание лишь по крупицам».

Автор книги пишет, что далеко не всегда история с хайпом выглядит как «ученый изнасиловал журналиста» (т.е. во всем виноваты СМИ). Проблема в пресс-релизах, которые раздувают результаты исследований, и которые в том числе пишут сами ученые.

В 2014 вышло исследование [110] с анализом 462 пресс-релизов из области здравоохранения, в котором пресс-релизы сопоставлялись с самими научными работами и итоговыми новостями в СМИ. Это исследование выявило три типа раскрутки: необоснованные советы (топорная интерпретация результатов исследования), межвидовой скачок (открытие какого-то эффекта на животных спешат перенести на людей, без всяких дополнительных исследований), попытка выдать корреляцию за причинно-следственную связь (когда результаты наблюдения корреляции выдаются за причинно-следственную связь, которая должна быть установлена в рамках рандомизированного эксперимента).

В 2019 году ученые провели исследование [111], в рамках которого они специально изменили одну группу пресс-релизов, делая их более «хайповыми», и сравнивали реакцию в СМИ на этих пресс-релизы с другой группой, в которой информация была более фактологически точной. В итоге они подтвердили эффект, что преувеличение или хайп в пресс-релизах в десятки раз чаще порождал преувеличение в СМИ, если сравнивать с более точными и сухими пресс-релизам.

Особенно это плохо проявляется в современной журналистике, которая зачастую просто перепечатывает пресс-релизы – в том числе и научные. Попытки вчитаться и проанализировать исследование встречаются редко, а вот приукрасить то, что уже приукрасили ученые – часто.

В 2017 году было проведено исследование [112] с анализом 4723 первичных исследований и 306 метаанализов, которое показало что лишь 50% освещенных в СМИ в итоге оказались воспроизводимыми, сами метаанализы редко упоминаются в СМИ, из 35 освещенных первоначальных исследований, которые впоследствии были опровергнуты, СМИ написали только про 4.

В 2006 психолог Кэрол Двек написала книгу «Mindset: новая психология успеха» [113], которая со временем стала невероятно популярной среди педагогов и родителей, которые хотели, чтобы дети получали как можно более высокие оценки. Ее идеи про гибкое и фиксированное мышление были подвергнуты критике в метаанализе [114] 2018 года (спустя 12 лет!), который показал, что от ее практик есть польза, но не на уровне индивида, а на уровне популяции, т.к. различие в образе мышления у учеников объясняло только 1% различий в оценках. Книга Кэрол описывала преимущества как раз для индивида (преувеличение индивидуальных эффектов ради хайпа вокруг книги), предлагая быстрое решение для клубка сложных педагогических проблем.

Психолог Джон Барг в 2017 году написал книгу «И глазом не моргнешь: неосознаваемые причины, по которым мы делаем то, что делаем» [115], в которой ссылался на исследования с малой выборкой и большим эффектом, даже не упоминая о проблемах с воспроизводимостью в исследованиях о психологическом прайминге. Местами он даже искажал результаты исследований в своей книге, перенося эффекты, которые проверялись в одной ситуации, на другую ситуацию.

В том же 2017 году ученый из области нейронаук Мэттью Уолкер выпустил книгу «Зачем мы спим» [116], которая стала бестселлером и удостоилась похвалы от бывшего редактора журнала The BMJ. В 2019 году эту книгу раскритиковал [117] другой ученый, который показал что автор книги во многих случаях искажал результаты исследований, на которые ссылался.

Все эти 3 книги написали профессоры из Стэнфорда, Йеля и Беркли. Ричи пишет, что если научпоп-книги и дальше будут отрываться от научных данных ради простой и яркой картинки, то это будет вредить обществу все больше и больше.

В 2015 году какие-то герои-аутисты (иначе и не скажешь) провели исследование [118] с изучением всех аннотаций исследований с Пабмеда в промежутке между 1974 и 2014 годом на предмет того, как часто в них встречаются нейтрально, позитивно и негативно окрашенные слова (авторы исследования составили списки слов, опираясь на внутригрупповой консенсус и словари). В результате выяснилось, что позитивные слова вроде «инновационный», «перспективный» и «надежный» начали употребляться в 9 раз чаще начиная с 1974 года. Частота негативных слов возросла всего в 2.5 раза.

Это является следствием того, что ученые пытаются всеми силами привлечь внимание к своим исследованиям, а через это – к самим себе. Эту тенденцию подстегивают и научные журналы.

Цитата из книги:

«Самые манящие журналы сообщают на своих сайтах, что ждут статей, которые имеют "большое потенциальное влияние" (Nature), являются "самыми значимыми в своей области" и "представляют новые и важные в широком контексте данные" (Science), отличаются "необычайной значимостью" (Cell) или "исключительной важностью" (Proceedings of the National Academy of Sciences)».

При этом журнал The New England Journal of Medicine ждет статей, которые отличаются «научной достоверностью, новизной и важностью». Автор пишет, что если порядок слов отражает приоритеты журнала, то это очень хорошо.

В 2010 исследование [119] показало, что из 72 отчетов о проведении РКИ (рандомизированное контролируемое исследование), в которых эффект изучаемого лекарства оказался близким или идентичным плацебо, 68 % в аннотациях и 61 % в основном тексте статей содержали попытку подать информацию под нужным углом: мол лечение на самом деле полезно, хотя стат. разница между лекарством и плацебо была небольшой или вообще отсутствовала.

Один статистик в 2013 году собрал забавную коллекцию цитат из исследований [120], в которых p-значение было чуть выше 0.05, но авторы исследования пытались это сгладить красивыми фразами, мол их результат на самом деле «весьма значимый», «в значительной степени значимый», «едва ускользнувший от статистической значимости» и т.д.

Подача под нужным углом используется в статьях по акушерству и гинекологии (15% от 503 исследований; [121]), о прогностических тестах при раке (35% от 10844 работ; [122]), об испытаниях средств от ожирения (47% от 45 работ; [123]). В 83% из 41 исследований [124] об испытаниях антидепрессантов и успокоительных средств, не обсуждались важные ограничения дизайна исследований (статьи не указывали наличие опасений по поводу изучаемых лекарств со стороны FDA).

Метаанализ [125] 2018 года пришел к выводу, что в исследованиях нейровизуализации раскручивание корреляции до причинно-следственной связи встречается «повсеместно».

Исследование [126] 2009 года с анализом 2235 медицинских работ из Китая показало, что только лишь в 7% исследованиях действительно использовалась рандомизация (выглядит так, что автор книги засунул ссылку на это исследование не в ту главу; она вполне бы подошла и к предыдущей).

В исследовании [127] 2017 года при изучении 112 метаанализов, написанные про исследования диагностических тестов, выяснилось, что «в 50% из них делался вывод о действенности теста, хотя там фигурировали незначительные, статистически незначимые эффекты».

Подобные медицинские исследования несут потенциальный риск для пациентов, т.к. на их результаты могут полагаться врачи в своей практике, чиновники из локальных Минздравов при составлении своих протоколов, или эксперты из ВОЗ.

Такое упрощение в пресс-релизах, аннотациях исследований и дизайне самих исследований ведет к появлению порочного круга или петли обратной связи, когда общество и грантодатели могут начать требовать все более простых, ярких и очевидных научных работ в ответ на подобное упрощение со стороны ученых.

Одна из хайповых областей науки в данный момент – изучение микробиома кишечника. Отсюда идут пробиотики и «фекальная трансплантация» (легендарное лечение говном), т.к. микробы в кишечнике влияют на здоровье как минимум ЖКТ. Но отдельные исследования идут дальше и утверждают, что микробы в кишечнике влияют в том числе на высшую нервную деятельность – на депрессию, тревожность, шизофрению и т.д.

В 2019 году ученые взяли [128] кал от 5 детей с аутизмом и 3 здоровых и пересадили его мышам (мерзко, зато не скучно), после чего у мышей с «аутистичным» калом проявилось поведение, похожее на человеческий аутизм. После чего ученые совершили буквально прыжок веры (философский, а не в стог сена) и выпустили прес-релиз, в котором утверждали, что «вмешательства, связанные с микробиотой, такие как пробиотики [или] трансплантация фекальной микробиоты… могут предложить своевременный и мягкий подход к решению пожизненных проблем при расстройствах аутистического спектра», хотя дизайн исследования не предполагал проверки подобных эффектов и проводился на очень малой выборке. Также в их работе другие ученые обнаружили, что стат. данные не сошлись при проверке [129].

В 2019 году провели схожее исследование [130] с привлечением 132 человек. На этот раз мышам пересаживали кал от больных шизофренией, что вызывало у животных симптомы психоза. На основе этого исследования тоже были сделаны далеко идущие выводы.

Среди ученых все чаще звучат призывы к охлаждению ажиотажа вокруг исследований микробиома.

Больше ярких и простых открытий было только в нутрициологии (наука о питании). СМИ так часто сообщали, что «Нужно исключить/добавить Х в ежедневный рацион чтобы уменьшить/увеличить шанс возникновений болезни/эффекта Y», что у людей уже выработалось недоверие к подобным статьям в СМИ (указанная автором ссылка не работает). Эта наука переживает кризис воспроизводимости, как и психология.

Один кардиолог был уволен из университета в 2012 году, после того как выяснилось [131], что он подделал данные в 19 исследованиях, в том числе и о пользе ресвератрола (вещество в кожуре красного винограда, которое можно найти и в красном вине; [132]).

В 2020 году статья [133] в JAMA вскрыла конфликт 2 групп ученых. Одна группа ученых проверила работы второй группы, которые были посвящены установлению связи между употреблением красного мяса с сердечно-сосудистыми заболеваниями, раком или общей смертностью. Проверка осуществлялась при помощи методологию GRADE (которая выше всего оценивает РКИ, а не работы со слабым дизайном). Проверка показала, что доказательств для установления подобной связи недостаточно (при этом небольшая, но неопределенная связь между увеличением потребления мяса и плохим здоровьем в эпидемиологических данных все же есть). В ответ вторая группа ученых устроила спам-атаку на почтовый ящик редактора журнала (2 тыс. писем с оскорблениями от спам-бота), в котором должен был выйти этот обзор, отправили письма в сам журнал и суды с требованием заблокировать и отозвать этот обзор. Дошло вплоть до попыток заклеймить ученых из первой группы как «распространителей дезинформации».

Причем потенциальные связи с пищевой индустрией были обнаружены у обоих групп ученых. В СМИ и блогах различных научных организаций статьи об этом скандале сильно разнятся: начиная от однобокой статьи NYT [134], в которой даже не упомянули спам-атаку, до сравнительно взвешенных статей от The harvard crimson [135], ILRI [136] и Beef central [137].

Автор книги приводит этот случай как пример столкновения 2 групп ученых, которые вероятно финансируются разными бизнес-группами (по производству животного мяса и растительного мясозаменителя). Крайне поучительный и мерзкий скандал.

Метаанализ 2017 [138] года не подтвердил рекомендацию о том, что нужно есть меньше насыщенных жиров и больше ненасыщенных для снижения риска ишемической болезни сердца. В работе обнаружены классические причины, которые могли вызвать подобные рекомендации ранее: публикационное смещение и плохой дизайн проведенных исследований. А ведь долгие года это был один из главных советов диетологов, и некоторые страны основывали на нем свои рекомендации по питанию.

В смешном по дизайну (и страшном по результатам) исследовании [139] из 2013 года ученые наугад ткнули в 50 ингредиентов из кулинарной книги, после начали изучать научную литературу, и выяснили что 40 ингредиентов связаны с риском возникновения рака (повышение или снижение риска). Или же эти продукты действительно влияют на появление рака, или же, что более вероятно, исследования в этой области сильно страдают от p-хакинга, публикационного смещения, больших эффектах при малой выборке и т.д.

На исследования в этой области влияет то, что люди через опросники сообщают о съеденных продуктах и их количестве, а с этим у людей может подводить память, к тому же есть довольно сильный эффект социальной желательности (людям не приятно сообщать, что они налегали на вредную пищу).

Некоторые предлагают направить средства на проведение нескольких крупных и строгих исследований, которые бы выявили оптимальную диету.

В 2013 году исследование PREDIMED («Профилактика с помощью средиземноморской диеты»; [140]) наделало много шума в научном сообществе и СМИ. Его авторы утверждали, что средиземноморская диета способна снизить риск инсульта, инфаркта и смерти из-за сердечно-сосудистых заболеваний в целом. Но в 2018 году Карлайл провел [141] проверку этой работы и показал, что в исследовании были допущены ошибки в рандомизации 21% испытуемых. В итоге было опубликована обновленная версия исследования. В ней стало заметно, что диета влияет только на риск инсульта. Несмотря на все это, с использованием данных PREDIMED вышло уже 250 других исследований о пользе средиземноморской диеты (и еще более 3000 ссылок сверху).

Автор пишет, что ученые должны максимально серьезно и внимательно относится к исследованиям, которые пытаются понять какой механизм стоит за нашим выбором еды, воспитанием детей, коммуникацией между людьми, а не упрощать свои работы.

В идеале ученые должны себя вести так, как повели себя физики в случае с экспериментом OPERA в 2011 году [142]. Тогда ученым показалось, что они зарегистрировали нейтрино, которая движется быстрее скорости света, по поводу чего они выпустили очень сдержанный пресс-релиз. И оказались правы, т.к. причиной ошибочных измерений оказался плохо присоединенный оптоволоконный кабель. Несмотря на это, руководитель проекта и еще один ученый были вынуждены подать в отставку.

Глава 7. Порочные стимулы в науке

Один из примеров порочных стимулов случился в 2017 году после калифорнийских пожаров. Тогда правительство США наняло частных подрядчиков и платило им за каждую тонну вывезенного мусора. В итоге эти подрядчики начали наполнять свои грузовики жидкой грязью, землей и даже бетоном из фундаментов жилых домов (вероятно, сгоревших).

У журналистов поощряются статьи, приносящие доходы, а не оригинальные репортажи. У педагогов поощряются школьные рейтинги, а не качество образования у детей. Можно вспомнить KPI в среде корпоративного менеджмента, ориентирование на сдачу ЕГЭ, а не на получение знаний в современных школах РФ и т.д.

В современной науке сложилась ситуация, когда каждый год выходит все больше и больше научных статей по всем областям научного знания (и этот рост ускоряется). В 2013 году вышло 2.4 млн. новых научных работ [143], 400 тыс. только по биомедицине и биологии [144]. Но вряд ли это отражает такой же взрывной рост научных знаний.

Один из самых известных порочных стимулов в науке – схема «деньги за публикации». В Китае власти напрямую стимулируют своих ученых к публикации в крупных международных журналах, выплачивая им в среднем по 44 тыс. долларов (при средней зп 8.8 тыс. долларов в год на 2017 год среди китайских ученых) за каждую такую публикацию [145]. Подобные государственные политики отмечены и в других странах: Турции, Южной Корее, Катаре, Саудовской Аравии, Тайване, Малайзии, Австралии, Италии и Великобритании [146]. Эта практика противоречит одному из принципов Мертона – бескорыстности в науке.

В США решение о том дать или нет ученому пожизненную оплачиваемую должность при университете определяется во многом количеством и статусностью его научных публикаций (количество ссылок на работу, в каком журнале она была опубликована и т.д.).

Автор пишет, что в современной науке превалирует оценка ученых и научных организаций со стороны государств, корпораций и частных фондов именно на основании рейтингов, которые оценивают прежде всего количество работ, их цитируемость, и то в каких журналах они публиковались (цитируемость журналов; [147]). Рандомизирование, ослепление, отсутствие мошенничества с p-хакингом, стат. мощность, величина выборки и воспроизводимость исследований – не учитываются (хотя, разумеется, если исследование будет совсем плохим, то его рано или поздно отзовут, что не очень хорошо для его автора/-ов). На основе этой оценки принимаются решения о выделении финансовых средств.

Ученые должны постоянно выпускать новые исследования, и постоянно подавать заявки на гранты, иначе у них не будет денег на лабораторные расходники, доступ к данным, выплаты зарплат персоналу и вознаграждения для участников.

Исследование 2008 года в США показало, что ученые тратят 8% от своего общего рабочего времени на написание заявок на гранты [148].

Некоторые ученые из-за такого давления со стороны системы финансирования науки вынуждены уходить из профессии. Исследование [149] 2010 года показало, что только 3,5% получивших научную степень остались в науке навсегда и 0,45% дошли до полной профессуры (изучались выпускники британских вузов).

Исследование [150] из Франции от 2015 года показало, что с 2005 по 2013 год количество опубликованных работ у только что принятых на работу молодых эволюционных биологов выросло в 2 раза (рост требований к молодому специалисту). Университеты не успевают создавать рабочие места для всех молодых ученых, которые ежегодно выходят на рынок труда [151].

К сожалению, такая гонка формата «публикуйся или умри» приводит к тому, что ученые (особенно молодые) вынуждены тратить мало времени на проведение исследовательских работ, стат. обработку результатов и подготовку итоговой статьи. Это влечет за собой понижение качества исследований, разрастание кризиса воспроизводимости и т.д [152].

Рецензенты тоже вынуждены выделять все меньше времени на оценку 1 исследования. В итоге качество исследований и стандарты рецензирования падают с каждым годом.

Один из способов искусственно увеличить количество публикаций – это т.н. «нарезка» научных работ (нечто такое есть и в видеоиграх, когда игру разрезают на основную часть и кучу мелких DLC). Одним из примеров такой «нарезки» является деятельность китайского ученого, который за 5 лет выпустил 279 статей, в каждой из которых он описывал открытие новой кристаллической структуры [145]. Другой пример: одна группа генетиков провела исследование [153] с полгигеномным поиском ассоциаций (GWAS), который подразумевает изучение 23 пар хромосом, и эти генетики решили выпустить 23 отдельных статьи по итогам своего исследования (какие-то Бобби Котики от мира науки).

Автор пишет, что самое раннее упоминание термина «нарезка» в науке можно найти в исследовании [154] 1989 года, но и в нем ученые пишут, что это понятие какое-то время уже было в ходу до их статьи.

«Нарезка» осуществляется для разгона наукометрических рейтингов, удлинения резюме ученого и получения премий за публикацию. Совестливые ученые, которые предпочитают выпускать полноценные толстые статьи оказываются в невыгодном положении.

Фарм. корпорации могут использовать «нарезку» для создания впечатления у невнимательного читателя, что эффективность нового лекарства подтверждена большим количеством исследований. «Нарезка» так же позволяет охватить большую аудиторию как бы размазав одно большое исследование на несколько научных журналов. Как минимум это применялось в случае с антидепрессантом дулоксетином [155].

Автор так же рассказывает про «хищнические журналы» – мошеннические журналы, которые имеют низкие стандарты рецензирования (или не имеют их вовсе), и количество которых резко возросло за последние 15 лет. Ученые платят за публикацию в таких журналах (вероятно, деньги большие, чем членский взнос в некоторых приличных журналах), и появление в подобных изданиях подрывает репутацию исследователя. Сайты таких журналов плохо оформлены, их ред. коллегия состоит из сотрудников малоизвестных или несуществующих университетов.

Некоторые ученые пользуются возможностью предложить редактору журнала список рецензентов для своего исследования, что существенно упрощает задачу редактора. При этом ученый может предложить своих друзей и знакомых, или выдать себя за другого ученого (т.е. через подставные фейковые аккаунты человек в итоге рецензировал собственную работу; [156]).

При этом в исследовании 2009 года с изучением 27 млн. исследований с 1900 по 2007 год было показано, что «за пять лет с момента публикации примерно на 12 % статей о медицинских исследованиях и на 30 % статей по естественным и социальным наукам ни разу никто не сослался» [157]. Возможно, это недооцененные работы, на которые однажды кто-то сошлется. А возможно система финансовых поощрений за частую публикацию научных работ ведет к напрасной трате ресурсов.

Чтобы обойти проблему с оценкой ученых по простой сумме всех ссылок на их работы в 2005 году был предложен индекс Хирша [158], который сам со временем стал еще одной проблемой (как ученые жили до него?). Этот индекс ровняется 10, если у ученого есть минимум 10 работ, на каждую из которых сослались минимум 10 раз; индекс равный 20, если ученый имеет минимум 20 работ, с 20 ссылками на каждую и т.д.

Именно на основе индекса Хирша принимаются решения о приеме на работу ученого и его продвижении по службе.

В 2017 году было проведено исследование [159] на 52 работах, в котором было показано, что «статьи со статистически значимыми результатами цитировались в 1,6 раза чаще, чем статьи с незначимыми результатами. Статьи, в которых авторы прямо заявляют, что нашли поддержку своей гипотезы, цитировались в 2,7 раза чаще. Результаты статьи и импакт-фактор журнала были связаны с цитированием чаще, чем любые другие указанные факторы».

Исследование [160] 2003 года с анализом 45 тыс. работ показало, что 36% всех цитат являются самоцитированием (когда автор в своей новой работе ссылается на свою старую). Один редактор психологического журнала был уволен, после того как выяснилось, что его редакционные статьи на половину состояли из ссылок на его собственные работы.

В 2015 году ученые из Канады изучили 616 научных рецензий и выяснили [161] что в 29% рецензий навязанные ссылки вели к собственным работам рецензента, и что предложения процитировать статьи рецензента чаще встречались в положительных рецензиях, чем в отрицательных. Иногда точно так же ведут себя редакторы журналов.

Некоторые ученые используют крупные или небольшие куски текста из собственных предыдущих исследований или книг в новых исследованиях (судя по всему, текст копировался полностью, иногда слегка изменялся). То есть происходит самоплагиат.

Импакт-фактор журнала [162] – это средняя мера частоты, с которой статьи из журнала цитировались в конкретном году (при расчете учитываются статьи за предыдущие 2 года). Он используется для измерения важности или ранга журнала путем расчета количества цитирований его материалов и публикаций.

Импакт-фактор в начале должен был всего лишь помогать библиотекарям определить на какой журнал оформить подписку (еще одно следствие ограниченных ресурсов). В итоге сейчас он определяет престижность журнала в целом.

Существуют т.н. «картели цитирования» (отмечены в статье 2012 года; [163]), которые выглядят как закулисные соглашения между редакторами 2-3 журналов с тем, чтобы активно размещать ссылки друг на друга в принимаемых статьях (редакторы журналов пишут метаанализ с большим количеством ссылок на другой журнал из картеля).

В науке происходит ситуация, в которой «достижение высоких показателей меры измерения успешности работы становится самоцелью в рамках этой работы» (как KPI у менеджеров). Увеличение индекса Хирша или импакт-фактора становятся на первое место, отодвигая в сторону цель увеличения воспроизводимого научного знания.

Автор указывает, что все эти порочные стимулы, перечисленные выше, и ведут к разным формам мошенничества среди ученых. Научная система поощряет нечистых на руку ученых, а совестливых отбраковывает, вынуждая их меняться или уходить из профессии.

Компьютерные модели (исследование 2016 года; [164]), которые пытались смоделировать процесс публикации исследований в масштабах всей науки, показывают, что при текущем состоянии дел преимущество будет у тех, кто «проводит множество небольших исследований с малой статистической мощностью, чтобы максимизировать количество публикаций, даже если это означает, что около половины дадут ложноположительные результаты».

Глава 8. Исцеление науки

В последней главе автор книги предлагает рассмотреть способы для предотвращения влияния мошенничества, предвзятости, недобросовестности, хайпа и других факторов, описанных выше, на науку.

В метанаучном исследовании [165] 2018 года был описан процесс «отмывания» группы исследований, которая была посвящена изучению одобренных FDA антидепрессантов. В изначальной выборке было 53 исследования, которые показали, что рассматриваемый антидепрессант работает лучше, чем плацебо или другое лекарство, которое принимало контрольная группа, а в 52 результат был отрицательным или неоднозначным.

Но потом начался процесс «отмывания», который попытался сделать так, что изучаемые лекарства начали выглядеть лучше, чем они были в реальности:

Публикационное смещение. Не было опубликовано 1 исследование с положительным результатом и 27 – с отрицательным и неоднозначным.
Переключение на другие исходы для нахождения p-значения <= 0.05. 10 исследований с отрицательным результатом превратились в исследования с положительным результатом.
Подача под нужным углом. Она использовалась еще в 10 исследованиях с отрицательным результатом.
Смещение цитирования. В последующих работах исследования с положительным результатом цитировались в 3 раза чаще, чем исследования с отрицательным.

Из набора в 105 исследований, где отрицательные и положительные исследования были в соотношении примерно 50/50, получилась подборка из 77 исследований, из которых 62 имеют положительный результат (80.5%), 10 имеют отрицательный результат, но чтобы это понять нужно внимательно вчитываться (13%), и 5 (6.5%) имеют открыто описанный отрицательный результат, и поверх этого еще нужно учитывать разницу в цитировании. В самом исследовании и книге находится наглядная картинка, которая демонстрирует 4 этапа этого «отмывания».

Все это было выявлено благодаря требованию о предварительной регистрации плана проводимого исследования (и, вероятно, связи с учеными). После подобное «отмывание» было обнаружено при испытании новых методов психотерапии, для исследования которых, оказывается, не нужна предварительная регистрация.

Эта работа охватила далеко не все, т.к. «не изучалось возможное мошенничество, или ошибки в дизайне исследования и при анализе результатов, или раскрутка при представлении методов лечения в средствах массовой информации и их продвижении».

Автор сам не формулирует предложения в этой главе в виде какого-то нумерованного списка, но если их попробовать выделить в таком виде, то получается следующая картина:

Первое предложение – публиковать имена и фамилии ученых-мошенников. К сожалению, в некоторых странах университеты и законы страны защищают этих людей (университеты из-за попыток избежать репутационных потерь, государства – из-за законов о конфиденциальности).
Второе предложение – разрабатывать новые алгоритмы по нахождению стат. ошибок в исследованиях, использованию дублирующих фотографий, плагиата и самоплагиата. Так же нужно добиться того, чтобы журналы прогоняли через эти тесты (GRIM, statcheck и прочие) все статьи, которые приходят к ним на рецензирование. Программы вроде R Markdown помогают избежать некоторых ошибок на этапе написания исследовательской статьи.
Третье предложение – публиковать сырые экспериментальные данные в конце каждого рабочего дня. Т.е. еще до выхода исследования в журнале публиковать на публичном сервисе результаты опросов и экспериментов, которые были получены за данный рабочий день.
Четвертое предложение – создать журналы, которые будут специализироваться на публикации исключительно отрицательных результатов, чтобы хоть как-то уменьшить публикационное смещение (альтернатива «картотечному ящику»). Подобный журнал (Journal of Negative Results in Biomedicine; [166]) был открыт в 2002 и закрыт в 2017, т.к. не была решена проблема нежелания ученых публиковать свои работы в низкостатусном журнале (с плохими наукометрическими показателями). Компромиссным решением может быть открытие новых мега журналов, которые одинаково охотно принимают исследования с повторением предыдущего исследования, отрицательным или положительным результатом с широким охватом предметных областей (пример – PLOS ONE). Множество журналов постепенно меняют свою политику в сторону приветствия исследований-повторений.
Пятое предложение – отказ от строго соблюдения правила «надежными являются все исследования с p-значением <= 0.05», т.к. это толкает людей в сторону p-хакинга и связано с другими проблемами. В качества альтернативы предлагают отказаться от p-значения вовсе (довольно радикально; [167]), или больше внимание уделять доверительному интервалу [168] и байесовской статистике [169]. Так же автор предлагает сосредоточиться больше не на стат. измерениях, а на практической пользе, которую несет то или иное открытие (например, лекарство может лишь на 1% эффективнее снимать боль, чем плацебо или другое лекарство, при том что p-значение <= 0.05). Кто-то предлагает поднять планку для p-значения с 0.05 до 0.005.
Шестое предложение – вывести обработку стат. данных из под контроля ученых и передать ее независимым статистикам. К сожалению, это может привести к конфликтам между специалистами.
Седьмое предложение – ввести в широкую практику т.н. «анализ мультивселенной» [170], когда набор данных анализируется всеми возможными способами через «включение и исключение определенных участников, объединение и разделение определенных переменных, введение и не введение поправки на определенные спутывающие факторы» (попытка просчитать все варианты проведения исследования, вместо захвата только «одной дорожки в саде расходящихся тропок»). После можно посмотреть на среднее арифметическое выявленных эффектов. Такой анализ требует доступа к мощным компьютерам.
Восьмое предложение – расширить обязательную предварительную публичную регистрацию исследований, которая уже существует для медицинских клинических исследований, финансируемых правительством США, на все научные области. Такая регистрация в сети позволяет после публикации исследования оценить произошло или нет переключение на другие исходы, и довели исследование до публикации или положили в «картотечный ящик». Так же такая регистрация позволит выявить, где ученые обнаружили случайные закономерности в процессе эксперимента или наблюдения, а где авторы строго в самом начале сформировали гипотезу и последовательно шли в сторону ее доказательства (или опровержения). При этом ученые все равно нередко нарушают предварительно опубликованные планы для клинических исследований (публикуют их позже указанной в реестре даты, не публикуют вовсе, прибегают к переключению исходов).
Девятое предложение – предварительно публиковать дизайн исследования, и, если он пройдет оценку рецензентов, то журнал берет на себя обязательство опубликовать исследование, вне зависимости от его результата. Это уменьшит шансы для приукрашивания текста исследования и снизит соблазн использования p-хакинга.
Десятое предложение – внедрить принципы открытой науки:

В рамках открытой науки одно из предложений выглядит как создание веб-страниц для каждого исследования, которые содержали бы все сырые данные, все материалы, которые использовались для сбора данных, все версии статьи и рецензии на нее (какое-то совмещение идей GitHub и open source из программирования). Это упростит критику чужих исследований и доступ к ценной информации. Исключение составляет генетическая и иная личная информация участников исследования.
Еще одно предложение в рамках открытой науки – внедрение командной науки в новых областях. Сейчас такие исследования, когда крупные команды ученых из разных университетов работают над одним проектом, происходят в генетике, физике элементарных частиц, психологии, эпидемологии. Это помогает увеличить выборку и стат. мощность исследований.
Третье предложение в рамках открытой науки – открытый доступ. Он подразумевает открытый доступ к исследованиям без необходимости платить журналам за доступ к отдельным статьям или за подписку. Это начинание продвигается европейскими организациями и 2 фондами Билла Гейтса. Препринты являются промежуточным решением проблемы открытого доступа, когда в общем доступе публикуется неоконченная или/и неотрецензированная версия исследования. Некоторые ученые предлагают все исследования изначально публиковать в форме препринтов. Но с препринтами нужно быть осторожным.

Одиннадцатое предложение – начать оценивать ученых с позиции их социальной ответственности и профессиональной порядочности, скрупулезности и тяжести той научной работы, которую они осуществили в своих исследованиях, количества созданных ими воспроизводимых работ, а не просто на основе индекса Хирша или того, сколько раз имя ученого было указано на первом месте в списках авторов исследований, громкости заявлений ученого.
Двенадцатое предложение – отдать на волю слепого случая (лотерея) выбор того какое исследование будет профинансировано, при условии, что его предлагаемый дизайн проходит выше определенной планки качества. Странное предложение, но оно призвано дать более равный доступ к деньгам как среди опытных и известных ученых, так и среди молодых и неизвестных.
Тринадцатое предложение – подтолкнуть журналы в сторону приема исследований, которые отвечают принципам открытости и воспроизводимости: публиковать исследования-повторения, требовать от ученых предварительной регистрации плана исследования и публиковать сырые данные, ввести процедуру сканирования статей на наиболее простые в нахождении ошибки (тесты GRIM, statcheck), добавлять в исследование раздел «Ограничения исследования», бороться с «нарезкой» статей.
Четырнадцатое предложение – донести до ученых, университетов, финансирующих организаций и СМИ, что большая часть науки выглядит как ежедневный, кропотливый и довольно скучный труд (труд ломовой лошади, как выражается автор). Прорывы и крики «Эврика!» происходят очень редко и это нормально. Иногда лучше полагаться на триангуляцию с позиции нескольких надежных исследований, чем ждать гениального прорыва от одной выдающейся работы.

Интересно, что автор указывает мимоходом как в 2011 году было опубликовано исследование [171] со слишком подробным способом модификации вируса H5N1 (птичий грипп) в более заразную версию, после чего в новой версии некоторые методологические детали были убраны.

В 2019 году один биолог написал статью [172] «Научные исследования не должны оставаться за пей-воллом» (которая тут же оказалась за этим самым пей-воллом!!!), в которой он подсчитал, что Калифорнийский университет выплачивает некоммерческой Национальной академии наук по 0.04$ за скаченное исследование, а коммерческому издательству Elsevier – 1.06$ (в 26 раз дороже). При этом Elsveir имеет рентабельность своего издательского подразделения в районе 40 %. Если данные одного блога из «Тинькофф Пульс» не врут, то в 2021 году из 13 крупнейших корпораций в РФ только 3 имели RoE выше 40 % [173]. Только 3 этих корпорации делают деньги на продаже золота, удобрений и металлов, а вот Elsveir зарабатывает на продаже результата труда ученых, который оплачивают государства, корпорации, университеты, фонды, НКО и частные лица, а не сама корпорация.

Автор пишет, что многие университеты при подписании контракта с ученым обязывают его выпускать определенное количество работ в год в журналах с определенным импакт-фактором.

Эта цитата звучит как краткое содержание всей книги (идеал, реальность, пути достижения идеала из текущей реальности):

«Вообще в научном поиске есть определенное благородство – когда ученый следует мертоновским принципам универсализма, коллективизма, бескорыстности и организованного скептицизма в искреннем стремлении к истине и знаниям о мире. Но все эти добродетели подвергаются коррозии в системе, поощряющей возмутительное раздувание результатов, ревностную охрану данных, халатное срезание углов, бесстыдную погоню за престижем и безобразное мошенничество. Если нам удастся обучить новое поколение исследователей придерживаться мертоновских норм и в то же время сдерживать поток стимулов, который толкает в противоположном направлении, мы, возможно, сумеем спасти науку от себя самой».

И еще хорошая цитата:

«Открытость. Прозрачность. Улучшенная статистика. Предварительная регистрация. Автоматизированная проверка ошибок. Хитроумные методы отлова мошенников. Препринты. Более эффективная практика найма. Новая культура смирения».

Культура смирения – это автор, вероятно, про игнорирование соблазнов похайпить на своих исследованиях.

Эпилог и Послесловие

«Я вынужден опасаться, что наука будет использоваться для укрепления власти доминирующих групп, а не для того, чтобы сделать людей счастливыми».

Бертран Рассел, британский философ, логик, математик

Проблема автора в том, что он, вероятно, сам не до конца понимал что именно он создает, начав писать свою книгу аккурат в самом начале пандемии Ковида. Де факто он дал в руки анархистам, либертарианцам, антифашистам, антипрививочникам, критикам бигфармы и разнообразным алармистам (довольно грубое и неправильное перечисление через запятую столь разных групп людей, но что поделать) сильный инструмент в эпоху, в которой множество гражданских свобод было поделено на 0 или частично отменено во имя спасения человечества от «новой чумы» (при том что в ЕС Ковид убил 0.28% от всего населения [174], а пандемия чумы в Европе 14 века унесла до половины населения в отдельных городах [175]).

Правительства разных стран призывали на помощь именно академическую науку, чтобы она дала им средства и инструменты по борьбе с Ковдом (т.н. «социальная» дистанция [176][177], которая была медицинской по сути, маски [178][179], мРНК [180][181] и векторные [182][183][184] вакцины, протоколы лечения для больниц [185] и на дому [186][187] и т.д.). Однако, со временем стало очевидно, что некоторые из тех мер, которые спасали человеческие жизни, одновременно, к сожалению, приводили к дегуманизации, а так же поражению прав и свобод тех, кто отказался проходить вакцинацию по религиозным или иным причинам [188], нападкам на критиков власти среди медиков, журналистов и ученых, притеснению уязвимых групп населения, среди которых были мигранты, коренное население, старики, дети и просто бедные люди [189].

Хорошая цитата находится в исследовательской статье 2022 года, которую написала профессор юриспруденции из Финляндии [190]:

«Первая волна мер по социальной изоляции привела к тому, что многие предприятия закрыли свои двери, а сотрудники либо работали из дома, либо были уволены. Строгие положения о карантине затронули право на организацию мирных собраний, свободу вероисповедания, неприкосновенность частной и семейной жизни. Доступ в общественные места, доступ к здравоохранению и образованию был строго ограничен и контролировался».

С одной стороны, пока автор писал эту книгу ученые получили первую «фотографию» черной дыры [191], генная терапия впервые вылечила детей с тяжелым иммунодефицитом [192] и показала хорошие результаты при муковисцидозе (наследственная генетическая болезнь; [193]), ученые смогли телепортировать информацию при помощи квантовой запутанности внутри алмаза [194], мышь научилась видеть в инфракрасном диапазоне после того как ей в глаза ввели нано-частицы [195]. Все это является несомненными достижениями науки.

С другой стороны, за это же время один исследователь в США был пойман за фальсификацией 39 опубликованных исследований и 60 грантов [196], одно идеалогизированное психологическое исследование из 2008 года не удалось воспроизвести, а журнал, опубликовавший его, отказался от публикации повторной статьи [197], новый алгоритм обнаружил 70 тыс. статей на русском языке, которые были опубликованы минимум дважды [198], а один из самых цитируемых биофизиков в мире был уличен в том, что он принуждал других ученых вставлять в исследования ссылки на его работы [199].

При этом Чарльз Бэббидж (математик и создатель первой вычислительной машины, если выкинуть за скобки Антикитерский механизм) еще в 1830 году в своей статье «Размышления об упадке науки в Англии и некоторых его причинах» выделил недуги современной ему науки, которые похожи на современное мошенничество, в том числе с использованием p-хакинга.

Автор пишет, что его друзья говорили ему, когда он рассказывал об идее своей книги:

«Не безответственно ли писать что-то подобное? Не сыграешь ли ты на руку тем, кто станет использовать твои аргументы, чтобы оправдать свое неверие в эволюцию, или в безопасность вакцин, или в вызванное человеческой деятельностью глобальное потепление? В конце концов, если фундаментальная наука настолько предвзята, а ее результаты так раздуты, с чего бы обычному человеку верить словам ученых?».

Здесь автор цитирует соц. опрос Wellcome Global Monitor, который показывал, что в среднем по планете 72% людей высказывались об умеренном или высоком доверии науке в 2018 году (в Африке и Латинской Америке 50-65%, в новой Зеландии и Австралии 90% и выше; [200]). Проблема в том, что этот опрос проводился до начала Ковида и свежие данные 2023 года от PEW research center [201] показывают, что среди граждан США вера в то, что наука оказывает положительное влияние на общество упала с 73% до 57% с начала Ковида и до октября 2023 года, а доверие к ученым – с 87% до 73% за тот же период.

Еще одна хорошая цитата из книги, буквально пророческие слова:

«Более того, опасно поощрять людей думать о науке как о совокупности фактов, в которых нельзя сомневаться. Такой взгляд на науку не только противоречит норме организованного скептицизма, но и способен привести к очень плохим последствиям. Если вы считаете науку истиной в последней инстанции, в которую вам только и остается что верить, как вы поступите, когда выяснится, что что-то пошло не так?».

Автор буквально описывает взгляд на мир сциентистов, которым наука заменила организованную религию с пантеоном, обрядами, священниками, миссионерами, инквизицией, местами отправления культа и т.д.

Описывается т.н. «Климатгейт» 2009 года, когда в сеть утекли письма климатологов, в которых «ведущие ученые-климатологи занимались профессиональными нарушениями, манипулировали данными и подтасовывали научную литературу и климатические данные» [202] – именно тем, чем занимались многие ученые-мошенники, про которых писал автор на протяжении всей своей книги. Однако, автор преподносит это так, словно это отдельные «комментаторы кричали о катастрофе», говоря что «электронные письма обличают климатологов, занимающихся в отношении экспертных оценок какими-то скрытными делами и политиканством».

Даже в 2024 году слышно эхо этого скандала. Если вы зайдете в поисковики Presearch или DuckDuckGo (более точные и взвешенные по большинству запросов, если сравнивать с Google), то всю первую страницу выдачи займут статьи от The Guardian [203], BBC [204] и бесконечных сайтов фатчекеров [205], которые пытаются всячески «обелить» этот скандал и выставить климатологов невиновными жертвами онлайн-травли. Альтернатива в виде статьи от либертарианского Cato institute [202] и отчета организации инженеров и бизнесменов из Австралии The Lavoisier Group [206] с детальным разбором писем на 180 страниц вы найдете только на 3 странице поисковой выдачи.

Упоминается советский агроном и биолог Трофим Лысенко с его «лысенковщиной» (идеологически-административное давление на генетику и генетиков в СССР 1930-1960-х годов; [207]). Упоминаются и недавние политические решения в связи с вакцинами, ГМО-растениями, креационизмом и т.д. Но при этом делается странный вывод, что «политики все равно будут растаптывать науку, когда это может, по их мнению, добавить им избирательских голосов», хотя очевидно, что если политикам будет выгодно превозносить, финансировать или цитировать выводы научных исследований, то они точно так же будут это делать снова, как это уже как минимум один раз было в годы Ковида.

В Послесловии автор уделяет много внимания скандалу вокруг противомалярийного препарата гидроксихлорохин. В 2020 году вышло исследование [208] об эффективности этого препарата в лечении Ковида под руководством французского врача и микробиолога Дидье Рауля. Но у этого исследования был выявлен ряд серьезных недостатков: плохой дизайн («не было ослепления, должной рандомизации, а размер выборки был очень мал») и ученые не сообщили о 3 пациентах, которые попали в реанимацию (1 из них умер). Быстро вышло другое исследование [209], которое говорило о повышении смертности пациентов, которым прописывали гидроксихлорохин, но оно было отозвано после того как ученые не смогли объяснить происхождение сырых данных, которые они получили от аналитической компании Surgisphere.

Бесполезность гидроксихлорохина в лечении Ковида показывают как крупные исследования 2020 года [210], так и исследования 2024 года, которые признают этот препарат или бесполезным [211], или даже смертельно опасным [212]. При этом существуют исследования, которые говорят о прямо противоположном: снижение смертности среди госпитализированных пациентов [213], снижение риска заболеть Ковидом у людей, которые принимали препарат в качестве профилактики [214].

Таким образом, автор книги поспешил с вынесением окончательных оценок, и сам свалился в ловушку чрезмерного упрощения научного знания ради демонстрации простой и яркой картинки читателю там, где научная дискуссия продолжается.

Кстати, в богоспасаемой Википедии в англоязычной статье про Дидье Рауля в разделе Talks [215] один человек указал, что этот врач использовал гидроксихлорохин не сам по себе, а в комплексе с цинком и азитромицином. Забив в поиск Пабмеда запрос «Hydroxychloroquine Covid» и ограничив выдачу 2023-2024 годом, можно увидеть, что только в названии 2 из первых 10 исследований в выдаче упомянут азитромицин. Возможно, в этом кроется одна из причин почему большинство из них негативно отзываются об этом препарате, как о потенциальном лекарстве от Ковида, или с большой осторожностью призывают к дальнейшим исследованиям его эффективности.

Как читать научную статью

«Если в ходе теста нет угрозы жизни, разве это вообще наука?»

ГЛаДОС, ИИ-суперкомпьютер из игры Portal 2

В самом конце книги автор предлагает 10 советов или правил о том, как правильно читать научные статьи. Заодно автор для получения доступа к исследованию рекомендует Google Scholar, Sci-Hub, поиск препринтов, письмо автору исследования (иногда они могут ответить и скинуть статью), в крайнем случае – покупка доступа у издателя.

Все ли прозрачно? Можно проверить журнал по «Списку Билла» [216], посмотреть из каких университетов авторы исследования. «Хищнические журналы» как правило имеют устаревшие и плохо оформленные сайты. Можно посмотреть данные по Web of Science, Scimago Journal & Country Rank или Exaly (в Exaly можно найти информацию по журналу, если ничего не найдено в предыдущих 2 источниках).
Насколько все открыто? Проверка на соответствие принципам открытой науки: предварительная регистрация, публичный доступ к сырым данным.
Правильно ли спланировано исследование? Нужно проверять рандомизацию и ослепление, обращать внимание на излишне восторженные фразы в Аннотации, правильный подбор участников для экспериментальная и контрольной группы.
Насколько велика выборка? Для больших эффектов можно обойтись и маленькой выборкой, большая выборка может быть испорчена смещением, но в целом чем больше выборка – тем лучше особенно в психологии, нейронауках, экологии.
Насколько велик эффект? Много ли p-значений в статье находятся ниже показателя в 0.05? Насколько велик эффект, обнаруженный в исследовании, и как он соотносится с воспроизводимыми старыми исследованиями? Нужно постоянно помнить о «картотечном ящике» и p-хакинге из-за чего нужно делать поправку при оценке результатов исследования.
Адекватны ли выводы? Нужно проверить не выдается ли корреляция (наблюдение) за причинно-следственную связь (эксперимент с контрольной и экспериментальной группой). Не происходит ли прыжок от экспериментов на животных или компьютерной модели к выводам, что лекарство можно применять на людях? Выводы, сделанные в рамках экспериментов на маленькой выборке и проецирующийся на все человечество, тоже нужно ставить под сомнение.
Есть ли предвзятости? Необходимо проанализировать потенциальное наличие полит-идеологической предвзятости у авторов исследования. Организации, финансирующие исследование, тоже могут влиять на результат исследования (нужно смотреть раздел «Конфликт интересов», в котором, к сожалению, не упоминаются лекционные туры, контракты с издательствами и т.д.). Политические предвзятости авторов могут проявляться в их комментариях для СМИ (и в Твиттере тоже).
Насколько все вообще правдоподобно? Автор предлагает поставить себя на место участника эксперимента и спросить себя «Насколько адекватно составлены тесты для достижения целей исследования?». Может ли обычный человек, например, вспомнить свои привычки в питании за последние 10 лет (в некоторых исследованиях предлагали вспомнить частоту секса и мастурбации за всю прошлую жизнь у 60-летних людей)?
Воспроизводилось ли исследование? Можно через Google Scholar поискать метаанализы, обзорные исследования или исследования-повторения.
Что думают об этом исследовании другие ученые? Сайт Science Media Centre [217] собирает отзывы независимых экспертов о пресс-релизах новых исследований. Так же полезен сервис Pubpeer [218], где ученые анонимно комментируют статьи других исследователей. Упоминания статьи можно поискать в Твиттере или поисковиках.

Видео на тему

«– Да, да, да; я давно Памфалон – плясун, скоморох, певец, гадатель и все, что кому угодно. Какое из моих дарований тебе надобно?»

Лесков Н. С., «Скоморох Памфалон», 1887

В русскоязычном сегменте их очень мало.

Если вбивать на ютубе на русском языке фразу «кризис воспроизводимости», то получаем следующие (из наиболее популярных и релевантных запросу) видео:

«Вебинар Механизмы стимулирования публикационной активности и способы манипулирования показателями» [219] на канале «Российского научно-исследовательского института экономики, политики и права в научно-технической сфере» (РИЭПП) от 2017 года. Больше информации про стимулирование публикационной активности среди ученых в разных странах (вплоть до Кубы). Много сведений про ситуацию с минимальными показателями по публикациям в России на момент 2017 года. Лекция во многом перекликается с содержанием книги.
«Кризис воспроизводимости в психологии [ворчалка]» [220] на канале психолога Павла Зыгмантовича – видео 2019 года от психолога, который делает упор на доказательную психологию. Про воспроизводимость в психологии, предварительную регистрацию исследований и прочее. Говорит, что кризис воспроизводимости это «проблема, которая решается». Предпочитает опираться на исследования после 2014-2016 годов.
«Большинство научных публикаций врут?» [221] с канала Vert Dider – переведенное с английского видео 2019 года (оригинал взят с канала Veritasium). Про кризис воспроизводимости и p-хакинг. Упоминается что-то интересное про пентакварки из физики. Обсуждается психологическое исследование о «предсказании будущего» из начала книги.
«Павел Зыгмантович | Доказательная психология и кризис воспроизводимости» [222] с канала Байесятина – интервью с Павлом Зыгмантовичем, 2023 год. В принципе все тоже самое: доказательная психология, кризис воспроизводимости, ученые-мошенники и прочее.
«Кризис воспроизводимости побеждён? ОБЪЯСНЯТЬ И ПРЕДСКАЗЫВАТЬ – выпуск #2» [223] с канала Ivan Ivanchei – подкаст молодых ученых от 2021 года. У кого-то с воспроизводимостью проблем больше (у психологов), у кого-то – меньше. Более живое и легкое обсуждение тем, которые были подняты в книге.

Если искать по запросу «публикационное смещение», то находим всего 1 наиболее релевантное видео, которое уже было отмечено выше по тексту из РИЭПП.

По запросу «p-хакинг» («p» написана латиницей, а «хакинг» – кириллицей) найдены видео только на английском языке. Ни одного видео на русском языке на эту тему на ютубе на момент мая 2024 года попросту нет. При этом данный термин был обозначен еще в 2012 году, а самое явление в науке существовало еще раньше.

Если искать на ютубе фразы на английском «replication crisis» и «publication bias», то по первой теме можно найти видео до 400 тыс. просмотров, некоторые из которых были выпущены 7 лет назад, по второй видео набирали до 50 тыс. просмотров, некоторые из которых были выпущены 11 лет назад. Про p-хакинг на английском 2 года назад вышло видео на 800 тыс. просмотров на канале TED-Ed.

Так почему на английском языке поднимают все эти важные темы и довольно часто (и уже довольно давно), а в русскоязычном сегменте ютуба все так печально?

Сложно сказать. Судя по всему, рассказывать в очередной раз про тарологов, гомеопатов, плоскоземельцев, антипрививочников и прочих астрологов гораздо проще и легче, чем поднимать какие-то серьезные темы и пытаться в простом и доступном формате донести их суть до широкой аудитории. Про диетические исследования опять же легче и приятнее рассказывать. Про великий аттрактор, войд Волопаса или темную материю – опять и снова легче и приятнее рассказывать. Про то как жил древний человек в пещере, лепил статуэтки большегрудых женщин и приручал огонь – опять и снова легче и приятнее рассказывать.

Приятнее и легче рассказывать широкой публике о науке, как об источнике диковинок и чудес, а не как о сложном институте, который наполнен внутренними проблемами. Так и просмотры быстрее текут и подписки живее прирастают. Ляпота же!

Только в чем различие в данном случае между средневековыми скоморохами, которые танцами, фокусами и музыкой захватывали внимание праздношатающейся толпы на ярмарке, и большинством современных русскоязычных популяризаторов науки? Предлагаю ответить на данный вопрос самостоятельно – в индивидуальном порядке.

А Павлу Зыгмантовичу, Максиму Юревичу (сотрудник РИЭПП), Ивану Иванчей, Илье Захарову, Нике Адамян, Антону Тихонову – низкий поклон и всяческие респекты за освещение таких непростых и сложных тем.

P.s. Можно вспомнить еще яркое и ехидное видео социолога Виктора Вахштайна (признан Минюстом РФ иностранным агентом) «Популяризация науки: от просвещения к мракобесию» [224] от 2017 года. В нем он довольно язвительно рассказывал о проблемах современного русскоязычного научпопа, у которого примерно те же проблемы, что у научпопа иностранного (хайп, упрощение выводов науки, отсутствие сомнения в научном знании при публичных выступлениях, полурелигиозное мессианство, рассказ о науке как об окончательной истине, превращение обсуждения серьезных тем в шоу и т.д.).

Несколько недостатков книги

«В науке часто случается так, что ученые говорят: "Знаете, это действительно хороший аргумент; моя позиция ошибочна", – и тогда они действительно меняют свое мнение, и вы больше никогда не слышите от них прежних слов. Они действительно это делают. Это происходит не так часто, как хотелось бы, потому что ученые – люди, и перемены иногда бывают болезненными. Но это происходит каждый день. Я не могу вспомнить, когда в последний раз что-то подобное происходило в политике или религии».

Карл Саган – американский астроном, астрофизик и популяризатор науки.

Книга получилось очень смелой, важной и хорошо сбалансированной между сложностью поднимаемых тем и простотой языка, которым Стюарт Ричи попытался эти сложные темы (понятия, термины) разжевать для читателя.

Однако, можно выделить и несколько недостатков:

1]. При цитировании результатов исследований не указываются абсолютные величины.

Автор книги в примерно 85-90% случаев не говорит сколько исследований было проанализировано (сколько исследований попробовали повторить и т.д.) в том или ином конкретном метанаучном исследовании. Он просто пишет, например, «Экономика: в исследовании 2016 года [...] доля воспроизводимости равнялась лишь 61 %» – и все. А от какого значения 61%? Наивный читатель в этом месте может подумать, что от всех исследований из этой области науки вообще. Или от всех исследований из нескольких наиболее крупных журналов за значительный промежуток времени. Или что-то еще.

И тут приходится лезть в оригинальное исследование, чтобы найти точную информацию (попутно молясь пресвятому Попперу чтобы полный текст работы оказался в открытом доступе), согласно которой не воспроизвелся 61 % от 18 работ по микроэкономике. И подобную информацию приходилось уточнять десятки раз в процессе чтения и конспектирования книги.

2]. Мысль автора неслабо скачет по ходу книги.

Во-первых, иногда замечаешь, что автор в одной главе перечисляет то, что вполне могло быть отнесено к предыдущей главе. Например, некоторые исследования или случаи, которые были перечислены в главах «Недобросовестность» и «Предвзятость», вполне могли быть перечислены в главе «Мошенничество».

Во-вторых, автор использует прием foreshadowing, который чаще используется в художественной литературе или видео на ютубе, чтобы закинуть «крючок» зрителю, которые позволит заинтересовать его настолько, чтобы он дочитал книгу (главу, часть) до конца или досмотрел видео до последней минуты.

Особенно это было заметно в рассказе про исследование с измерением объема черепов. Первую часть автор рассказал в начале главы, вторую – через 79 страниц. При том что эти 79 страниц были наполнены плотным потоком ссылок и цитат из научных исследований, и читатель может уже подзабыть о чем именно шла речь в начале главы.

3]. Недостаточно глубокий охват темы (больше придирка-пожелание, чем недостаток).

Ричи написал действительно хорошую книгу, но в ней он упомянул далеко не все известные скандалы, связанные с медициной, исследования из которой он так часто цитировал в своей работе. Если взять самые известные, то можно было еще рассказать про:

Талидомид [225]. Это лекарство было лицензировано в 1953 году как транквилизатор, а отозвано только в 1961 году. От него примерно пострадало 10-20 тыс. детей, около 40% из которых умерли во время родов или в первые месяцы после рождения, другие же были обречены на жизнь с неразвитыми или деформированными руками и ногами.
Профилактическое удаление аппендикса. В США детям и взрослым с 50-х годов [226] минимум до 2010-х годов [227][228] проводили профилактическое удаление аппендикса, хотя еще в 2007 году появилось исследование [229], которое говорило о том, что этот маленький орган может выполнять роль «убежища» для полезных кишечных бактерий, во время поражения остального желудка диарей или другой болезнью. Иммунную функцию аппендикса обнаружили в исследовании 2004 года [230]. Не удалось найти статистику о профилактическом удалении аппендикса хотя бы в США.
Радикальная мастэктомия по Холстеду. На эту тему в 2018 году вышла очень хорошая статья с историческим обзором развития операций на молочной железе при лечении рака [231]: от древнего Египта и до наших дней. В ней описывается как в 1894 году Уильям С. Холстед предложил полностью вырезать большую грудную мышцу и тканей молочной железы для предотвращения распространения рака, т.к. в те времена считалось, что «рак молочной железы сначала распространяется локально, захватывая близлежащие ткани, а затем переходит в окружающие лимфатические протоки, где клетки оказываются в "ловушке"». Необходимость в такой увечащей операции была развенчана только в 1980-е года, когда итальянское исследование показало, что на дистанции в 5 лет не существует «разницы между квадрантэктомией плюс радиотерапия плюс подмышечная диссекция и радикальной мастэктомией». Правда, тут можно сказать, что Холстед делал что мог в те времена, когда еще никто ничего не знал о лучевой терапии и современных методах диагностики, но полагался он на неверные научные предпосылки.
Абляция (хирургическая операция удаления органа; [232]) вилочковой железы у здоровых детей с помощью лучевой терапии. Тоже довольно «забавный» случай из истории медицины, который описан в статье 2017 года [233]. В 1830 году патологоанатомы заметили, что у младенцев, умерших из-за синдрома внезапной детской смерти, тимус (он же вилочковая железа) увеличен по сравнению с «нормальными» образцами, которые были взяты, как впоследствии выяснилось, у детей из бедных слоев общества, которые умерли от туберкулеза, недоедания, инфекционной диареи и других подобных заболеваний (т.е. их тимус не был нормальным). В 1907 году врачи начали облучать тимус у детей, через процедуру прошли тысячи детей. Это привело к повышению риска возникновения злокачественных опухолей щитовидной железы у облученных и рака молочной железы. Процедура была признана иррациональной и ненужной только в 1940-х годах. Минимум 10 тыс. человек, прошедших через эту процедуру, умерло от рака щитовидной железы.

Пункты 2, 3, 4 были подсмотрены в споре нейроученого Владимира Алипова и биоинформатика Александра Панчина, который произошел в комментариях под статьей Панчина в Вк [234].

Можно еще вспомнить асбест (использовался с 1800-х, первые четкие доказательства его канцерогенности появились в 1930-1940-е, первый запрет в США последовал только в 1970-е, т.к. правительство и промышленность предпочитали скрывать информацию от общественности; [235][236]), ДДТ (активно начал использоваться в сх в 1940-е года, запрещен в США в 1972 году; [237]).

Насчет ДДТ в 1962 году вышла книга «Безмолвная весна» (или «Тихая весна»), которая упоминалась в нф-романе «Задача трех тел», который был выпущен в 2006 году. В «Безмолвной весне» описывалось распыление ДДТ с самолетов над полями и лесами, что сильно вредило популяции птиц. И все это происходило в США в начале 1960-х, примерно тогда же когда китайцы истребляли воробьев в своей стране в рамках «культурной войны», но сколько сейчас людей знают о второй глупости и сколько – о первой?

Все эти случаи вреда человеку или/и экологии вне всякого сомнения основывались на корпусе тех или иных исследований, которые могли ошибаться в своих выводах в силу искренних ошибок или осознанного мошенничества со стороны ученых. К сожалению, автор книги решил не освещать эти случаи, а жаль.

4]. Недостаточно широкий охват темы (еще одна придирка-пожелание).

Ричи в своей книге в основном сосредоточился на примерах из медицины, биологии и психологии. Но ведь примерно такую же книгу (или серию статей) можно написать и про другие области науки: химию, физику, математику, астрономию, экономику, нейронауку и т.д.

Разумеется, глупо желать столь многого от одного человека. Такое смогла бы осилить только группа ученых, каждый из которых хорошо разбирается в своей области.

5]. Выборочная идеологическая слепота.

Автор в своей книге не слишком подробно, но все же отметил проблемы в науке, которые были вызваны идеологическим давлением со стороны государства, в СССР (знаменитая лысенковщина) и Китае (исследования акупунктуры и моксибустии, финансовое стимулирование ученых к публикации в международных журналах, низкие стандарты китайских исследований и т.д.).

Однако, он не написал даже маленького абзаца про подобные проблемы в других странах: в Германии времен Третьего Рейха (т.н. «арийская» наука с измерением черепов и не только; [238]), в Императорской Японии времен Второй мировой войны [239][240]. Проблемы современной науки в США и ЕС из-за желания некоторых прогрессивных ученых и политиков создать равное представительство мужчин и женщин (или консерваторов и либералов) в отдельных областях науки автор отметил, но вот конкретные случаи влияния политики DEI [241][242] он как-то решил обойти стороной.

«Отдельные перегибы на местах» вроде операции Sea-spray [243][244] или программы MK Ultra [245] тоже не были упомянуты, что тоже не похоже на отстраненную объективность, которая в идеале должна быть неотъемлемым качеством любого ученого.

Вывод

«Знание – сила! А сила есть – ума не надо».

Орк-бугай из игры Warcraft 3

«Наукообразная чушь» – замечательная книга. Ее автор – настоящий герой, который не побоялся вынести ссор из избы, не побоялся поставить на кон свою карьеру. Хоть он и попытался максимально защитить себя через произнесение всех ритуальных фраз про феминизм, ГМО, Трампа, климат, Ковид, ископаемое топливо и далее по тексту, но все равно – он рисковал. И за это он заслуживает только уважения и всяческого восхваления.

При этом, в процессе прочтения книги вашего покорного слугу не покидала одна мысль «Как они смогли дойти до такого?!».

У программистов есть множество способов проверить свой код перед отправкой его на прод (в мастер-ветку, сеньору, ментору – не суть). Начиная от простых линтеров, продолжая юнит-тестами, тестами интеграционными и функциональными, тестированием автоматическим и ручным, вплоть до запуска кода в средах с контейнеризацией.

При этом цена ошибка у программистов – упавший сервис, который в худшем случае пролежит на боку 6 часов, как это было с Facebook (организация, деятельность которой запрещена на территории Российской Федерации, и которая признана экстремистской) в 2021 году [246], в большинстве случаев произойдет откат к предыдущей версии за считанные минуты, как это было с открытием админ. интерфейса в VK для всех пользователей в 2017 году на 4 минуты [247].

Цена ошибки у ученых, как вы могли видеть из всего текста выше – несоизмеримо выше. Ученый (или группа ученых) может ошибиться (или пойти на осознанное мошенничество) и в лучшем случае его ошибку заметят через 5-10 лет, а в худшем случае – через полвека. И пока эта ошибка будет «жить», на ее основе государства будут строить свои законы и общественную политику, а корпорации – выпускать товары и предоставлять услуги.

После прочтения этой книги стало очевидно с еще большей ясностью, что Нофап не может позволить себе такой роскоши как опора только на что-то одно. Религии, эзотерические течения, философские направления, личный опыт, обобщенный опыт больших групп нофаперов и даже наука – ничто не может дать человеку окончательный и на 100% истинный ответ (истинный в смысле соответствующий объективной физической реальности).

Исследования ненадежны. Это относится как к исследованиям, которые говорят о вреде мастурбации и порно, так и к исследованиям, которые говорят об их пользе или нейтральном воздействии на здоровье человека.

Мы можем только постоянно помнить об этой ненадежности, и проверять то или иное исследование по как можно большому количеству параметров, с тем чтобы отфильтровать достаточно надежные исследования от откровенно подозрительных и мошеннических.

И эта книга еще раз показала, что любой источник информации (книга, статья, видео, аудиоподкаст, живая лекция), в котором исследование берется только как цитата 2-3 строчек из его Абстракта, является не более чем мусорным источником, рассчитанным на невзыскательную и доверчивую публику. Такое жонглирование разноцветными цитатами из исследований должно остаться в отживших свое глянцевых журналах и желтых газетах, которые плавно перемещаются с журнального стола в кошачий лоток.

В идеале однажды должен появится сервис/-ы, который мог бы самостоятельно проверить исследование по множеству параметров: величина выборки, качество дизайна, индекс Хирша ученых, импакт-фактор журнала, репутация ученых, их потенциальные связи с правительствами и корпорациями, потенциальное мошенничество с фотографиями, проверка с помощью стат. тестов и т.д. И после этого показать наглядно пользователю: сколько у этой работы «зеленых флагов», а сколько – «красных».

Хотя все это довольно наивно звучит, учитывая, что научные издательства до сих пор не могут банально обозначить отозванное исследование не только на его собственных страницах, но и на страницах тех работ, где это исследование цитировалось. Хоть бы красным кружком как-то обводили что ли. Или красным крестиком зачеркивали.

P.s. Можно было бы еще упомянуть коррупционную практику «вращающихся дверей» (revolving door), при которой топ-чиновники из FDA и CDC подозрительно часто устраиваются на высокооплачиваемые места в бигфарм-корпорациях [248][249], что влияет и на медицинские исследования. Пожурить автора за то, что он упомянул «Список Билла» с хищническими журналами, но ничего не рассказал про судьбу самого Джеффри Билла, который столкнулся с угрозами подать на него в суд из-за клеветы и давлением со стороны администрации Университета Колорадо, в котором он работал [250]. Эта тема слишком важна и обширна, остановить ее обсуждение можно лишь поставив точку.

P.p.s. В начале ваш покорный слуга хотел назвать статью как «Книга "Наукообразная чушь" или петарда в курятник сциентистов», но потом подумал, что в нашем славном государстве после принятия очередного закона это могут расценить как какой-нибудь антиконституционный призыв и переделал название на «вакцина от сциентизма». Тонко и смешно, учитывая как популяризаторы науки злятся на антипрививочников, которые заслуживают сочувствия, но никак не злобы.

Ссылки

Книга «Наукообразная чушь», Стюарт Ричи, 2024 год, издательство Corpus – https://www.corpus.ru/products/styuart-richi-naukoobraznaya-chush.htm
Английский оригинал книги под названием Science Fictions: How Fraud, Bias, Negligence, and Hype Undermine the Search for Truth, Stuart Ritchie, 2020, Metropolitan Books – https://www.amazon.com/Science-Fictions-Negligence-Undermine-Search/dp/1250222699
Статья «Филин С. Концепции современного естествознания: конспект лекций. ЛЕКЦИЯ № 16. Микро-, макро-, мегамир», на сайте «Библиотека Гумер» – https://www.gumer.info/bibliotek_Buks/Science/filin/16.php
Словарная статья про секуляризацию на сайте Академик.ру – https://sociological_dictionary.academic.ru/599/СЕКУЛЯРИЗАЦИЯ
Исследование PSYCHOLOGY. Estimating the reproducibility of psychological science, 2015 – https://pubmed.ncbi.nlm.nih.gov/26315443/
Исследование Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015, 2018 – https://pubmed.ncbi.nlm.nih.gov/31346273/
Исследование Evaluating replicability of laboratory experiments in economics, 2016 – https://pubmed.ncbi.nlm.nih.gov/26940865/
Исследование Small sample sizes reduce the replicability of task-based fMRI studies, 2018 – https://www.nature.com/articles/s42003-018-0073-z
Исследование Cluster failure: Why fMRI inferences for spatial extent have inflated false-positive rates, 2016 – https://www.pnas.org/doi/10.1073/pnas.1602413113
Исследование The History of Farm Foxes Undermines the Animal Domestication Syndrome, 2020 – https://www.sciencedirect.com/science/article/pii/S0169534719303027
Исследование Irreproducible text-book "knowledge": The effects of color bands on zebra finch fitness, 2018 – https://onlinelibrary.wiley.com/doi/abs/10.1111/evo.13459
Исследование Ocean acidification does not impair the behaviour of coral reef fishes, 2020 – https://www.nature.com/articles/s41586-019-1903-y
Статья Taking on chemistry's reproducibility problem, 2017 – https://www.chemistryworld.com/news/taking-on-chemistrys-reproducibility-problem/3006991.article
Исследование Is Economics Research Replicable? Sixty Published Papers from Thirteen Journals Say "Usually Not", 2015 – https://www.federalreserve.gov/econresdata/feds/2015/files/2015083pap.pdf
Исследование Computational reproducibility in geoscientific papers: Insights from a series of studies with geoscientists and a reproduction study, 2018 – https://www.tandfonline.com/doi/full/10.1080/13658816.2018.1508687
Исследование Are we really making much progress? A worrying analysis of recent neural recommendation approaches, 2019 – https://dl.acm.org/doi/10.1145/3298689.3347058
Исследование Raise standards for preclinical cancer research, 2012 – https://www.nature.com/articles/483531a
Исследование Reproducible Research Practices and Transparency across the Biomedical Literature, 2016 – https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002333
Исследование On the reproducibility of science: unique identification of research resources in the biomedical literature, 2013 – https://pubmed.ncbi.nlm.nih.gov/24032093/
Исследование Systematic reviews showed insufficient evidence for clinical practice in 2004: what about in 2011? The next appeal for the evidence-based medicine age, 2013 – https://pubmed.ncbi.nlm.nih.gov/22747638/
Статья 1,500 scientists lift the lid on reproducibility, 2016 на сайте Nature – https://www.nature.com/articles/533452a
Исследование The Prevalence of Inappropriate Image Duplication in Biomedical Research Publications, 2016 – https://pubmed.ncbi.nlm.nih.gov/27273827/
Статья What is P Hacking: Methods & Best Practices, 2023 на сайте Statistics By Jim (личный сайт ученого) – https://statisticsbyjim.com/hypothesis-testing/p-hacking/
Исследование Feeling the future: experimental evidence for anomalous retroactive influences on cognition and affect, 2011 – https://pubmed.ncbi.nlm.nih.gov/21280961/
Исследование (отозванное) Coping with chaos: how disordered contexts promote stereotyping and discrimination, 2011 – https://pubmed.ncbi.nlm.nih.gov/21474762/
Раздел About на сайте журнала Philosophical Transactions of the Royal Society – https://royalsocietypublishing.org/rsta/about#question1
Статья «Этос науки в социологии Р. Мертона: судьба и статус в науковедении», 2010 на сайте «КиберЛенинка» – https://cyberleninka.ru/article/n/etos-nauki-v-sotsiologii-r-mertona-sudba-i-status-v-naukovedenii-1
Книга «Думай медленно, решай быстро», Канеман Даниэль, 2021, издательство Neoclassic – https://www.chitai-gorod.ru/product/dumay-medlenno-reshay-bystro-2392784
Исследование The psychological consequences of money, 2006 – https://pubmed.ncbi.nlm.nih.gov/17110581
Исследование Washing away your sins: threatened morality and physical cleansing, 2006 – https://pubmed.ncbi.nlm.nih.gov/16960010/
Исследование Out, Damned Spot: Can the "Macbeth Effect" Be Replicated?, 2014 – https://www.tandfonline.com/doi/full/10.1080/01973533.2013.856792
Исследование Investigating Variation in Replicability, 2014 – https://econtent.hogrefe.com/doi/10.1027/1864-9335/a000178
Исследование Power posing: brief nonverbal displays affect neuroendocrine levels and risk tolerance, 2010 – https://pubmed.ncbi.nlm.nih.gov/20855902/
Исследование Assessing the Robustness of Power Posing: No Effect on Hormones and Risk Tolerance in a Large Sample of Men and Women, 2015 – https://journals.sagepub.com/doi/10.1177/0956797614553946
Подборка обширных цитат о кризисе воспроизводимости на сайте ScienceDirect – https://www.sciencedirect.com/topics/psychology/replication-crisis
Исследование Why Most Published Research Findings Are False, 2005 – https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
Книга The Lucifer effect: Understanding how good people turn evil, П. Зимбардо, 2007 – https://psycnet.apa.org/record/2007-04177-000
Исследование Debunking the Stanford Prison Experiment, 2019 – https://pubmed.ncbi.nlm.nih.gov/31380664/
Исследование (отозванное) RETRACTED: Clinical transplantation of a tissue-engineered airway, 2008 – https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(08)61598-6/fulltext
Отчет Having been tasked with issuing a statement of opinion on seven papers with principal or co-authors from Karolinska Institutet (KI) concerning indications of scientific misconduct or other irregularities, I hereby submit the following observations, 2015, который размещен на сайте Retraction Watch (с. 36) и скачивается в виде Word-файла – http://retractionwatch.com/wp-content/uploads/2015/05/Translation-investigation.doc
Статья-таймлайн The Macchiarini case: Timeline, 2024 – https://news.ki.se/the-macchiarini-case-timeline
Книга The Strange Case of the Spotted Mice and other classic essays on science, Peter Medawar, 1996 – https://academic.oup.com/book/52751/chapter-abstract/421861920
Исследование Research ethics and lessons from Hwanggate: what can we learn from the Korean cloning fraud?, 2007 – https://jme.bmj.com/content/34/3/214.short
Исследование (отозванное) RETRACTED ARTICLE: Stimulus-triggered fate conversion of somatic cells into pluripotency, 2014 – https://www.nature.com/articles/nature12968
Отчет Report on STAP Cell Research Paper Investigation, 2014 – http://www3.riken.jp/stap/e/f1document1.pdf
Исследование (отозваное) When contact changes minds: An experiment on transmission of support for gay equality, 2014 – https://www.science.org/doi/10.1126/science.1256151
Отчет Irregularities in LaCour (2014), 2015 – https://osf.io/preprints/metaarxiv/qy2se
Статья Retraction Watch Database User Guide, 2018 на сайте Retraction Watch – https://retractionwatch.com/retraction-watch-database-user-guide/
Статья What a massive database of retracted papers reveals about science publishing's "death penalty", 2018 – https://www.science.org/content/article/what-massive-database-retracted-papers-reveals-about-science-publishing-s-death-penalty
Исследование How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data, 2009 – https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0005738
Исследование Testing Hypotheses on Risk Factors for Scientific Misconduct via Matched-Control Analysis of Papers Containing Problematic Image Duplications, 2018 – https://link.springer.com/article/10.1007/s11948-018-0023-7
Исследование Randomized trials on acupuncture published in Chinese journals: A systematic literature review, 2014 – https://www.researchgate.net/publication/262146533_Randomized_trials_on_acupuncture_published_in_Chinese_journals_A_systematic_literature_review
Статья Scientific Fraud in China, 2019 на сайте Science-Based Medicine – https://sciencebasedmedicine.org/scientific-fraud-in-china/
Исследование (отозванное) Field-Effect Modulation of the Conductance of Single Molecules, 2001 – https://www.science.org/doi/10.1126/science.1066171
Отчет Report of the investigation committee on the possibility of scientific misconduct in the work of Hendrik Schön and coauthors, 2002 – https://media-bell-labs-com.s3.amazonaws.com/pages/20170403_1709/misconduct-revew-report-lucent.pdf
Исследование (отозванное) RETRACTED: Ileal-lymphoid-nodular hyperplasia, non-specific colitis, and pervasive developmental disorder in children, 1998 – https://www.thelancet.com/journals/lancet/article/PIIS0140673697110960/fulltext
Исследование Vaccines are not associated with autism: an evidence-based meta-analysis of case-control and cohort studies, 2014 – https://pubmed.ncbi.nlm.nih.gov/24814559/
Статья How the case against the MMR vaccine was fixed, 2011 на сайте The BMJ – https://www.bmj.com/content/342/bmj.c5347
Статья Social Psychology's Dark Future, 2023 на сайте Psychology Today – https://www.psychologytoday.com/us/blog/cultural-animal/202303/social-psychologys-dark-future
Исследование Crania Americana, or, A comparative view of the skulls of various aboriginal nations of North and South America: to which is prefixed an essay on the varieties of the human species ; illustrated by seventy-eight plates and a colored map, 1839 – https://collections.nlm.nih.gov/catalog/nlm:nlmuid-60411930R-bk
Книга The Mismeasure of Man, Stephen Jay Gould, 1996, издательство W. W. Norton & Company – https://www.amazon.com/Mismeasure-Man-Revised-Expanded/dp/0393314251
Исследование The Mismeasure of Science: Stephen Jay Gould versus Samuel George Morton on Skulls and Bias, 2011 – https://journals.plos.org/plosbiology/article/info%3Adoi%2F10.1371%2Fjournal.pbio.1001071
Исследование "Positive" Results Increase Down the Hierarchy of the Sciences, 2010 – https://journals.plos.org/plosone/article%3Fid=10.1371/journal.pone.0010068
Исследование The file drawer problem and tolerance for null results, 1979 – https://psycnet.apa.org/record/1979-27602-001
Словарная статья про величину эффекта на сайте B17 – https://www.b17.ru/dic/velichina_effekta/
Словарная статья про размер выборки на сайте Академик.ру – https://technical_translator_dictionary.academic.ru/204031/размер_выборки_
Исследование Romance, risk, and replication: Can consumer choices and risk-taking be primed by mating motives?, 2015 – https://pubmed.ncbi.nlm.nih.gov/26501730/
Исследование Almost all articles on cancer prognostic markers report statistically significant results, 2007 – https://pubmed.ncbi.nlm.nih.gov/17981458/
Исследование Bias in associations of emerging biomarkers with cardiovascular disease, 2013 – https://pubmed.ncbi.nlm.nih.gov/23529078/
Исследование Publication bias is underreported in systematic reviews published in high-impact-factor journals: metaepidemiologic study, 2014 – https://pubmed.ncbi.nlm.nih.gov/25194857/
Исследование Statistical controversies in clinical research: publication bias evaluations are not routinely conducted in clinical oncology systematic reviews, 2017 – https://pubmed.ncbi.nlm.nih.gov/28039176/
Исследование Publication bias in the social sciences: Unlocking the file drawer, 2014 – https://www.science.org/doi/10.1126/science.1255484
Статья Here’s How Cornell Scientist Brian Wansink Turned Shoddy Data Into Viral Studies About How We Eat, 2018 на сайте BuzzFeedNews.Reporter – https://www.buzzfeednews.com/article/stephaniemlee/brian-wansink-cornell-p-hacking
Исследование Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling, 2012 – https://journals.sagepub.com/doi/abs/10.1177/0956797611430953
Исследование Scientific misbehavior in economics, 2014 – https://www.sciencedirect.com/science/article/abs/pii/S0048733314000900
Исследование Identifying bioethical issues in biostatistical consulting: findings from a US national pilot survey of biostatisticians, 2017 – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5695368/
Исследование A peculiar prevalence of p values just below .05, 2012 – https://pubmed.ncbi.nlm.nih.gov/22853650/
Исследование Morton's ranking of races by cranial capacity. Unconscious manipulation of data may be a scientific norm, 1978 – https://pubmed.ncbi.nlm.nih.gov/347573/
Исследование The Chrysalis Effect: How Ugly Initial Results Metamorphosize Into Beautiful Articles, 2016 – https://journals.sagepub.com/doi/abs/10.1177/0149206314527133
Книга Lost in Math: How Beauty Leads Physics Astray, Sabine Hossenfelder, 2018, издательство Basic Books – https://www.amazon.com/Lost-Math-Beauty-Physics-Astray/dp/0465094252
Книга «Уродливая Вселенная. Как поиски красоты заводят физиков в тупик», Хоссенфельдер Сабина, 2021, издательство Бомбора – https://www.labirint.ru/books/780093/
Статья Clinical trial registration: a statement from the International Committee of Medical Journal Editors, 2004 – https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(04)17034-7/abstract
Сайт проекта «Сравни испытания» (COMPare Trials) – https://www.compare-trials.org/
Исследование Comparison of Registered and Reported Outcomes in Randomized Clinical Trials Published in Anesthesiology Journals, 2017 – https://pubmed.ncbi.nlm.nih.gov/28704247/
Исследование Trends in National Institutes of Health Funding for Clinical Trials Registered in ClinicalTrials.gov, 2015 – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4919115/
Исследование Results of Clinical Trials Sponsored by For-Profit vs Nonprofit EntitiesResults of Clinical Trials Sponsored by For-Profit vs Nonprofit Entities, 2003 – https://jamanetwork.com/journals/jama/article-abstract/197838
Исследование Industry sponsorship and selection of comparators in randomized clinical trials, 2009 – https://pubmed.ncbi.nlm.nih.gov/20050879/
Исследование Non-publication of large randomized clinical trials: cross sectional analysis, 2013 – https://www.bmj.com/content/347/bmj.f6104
Статья The maddening saga of how an Alzheimer’s ‘cabal’ thwarted progress toward a cure for decades, 2019 на сайте STAT News – https://www.statnews.com/2019/06/25/alzheimers-cabal-thwarted-progress-toward-cure/
Исследование Does stereotype threat influence performance of girls in stereotyped domains? A meta-analysis, 2015 – https://www.sciencedirect.com/science/article/abs/pii/S0022440514000831
Исследование Growth in a Time of Debt, 2010 – https://www.aeaweb.org/articles?id=10.1257/aer.100.2.573
Исследование Does high public debt consistently stifle economic growth? A critique of Reinhart and Rogoff, 2014 – https://academic.oup.com/cje/article-abstract/38/2/257/1714018
Статья Statcheck – a spellchecker for statistics, 2018 на сайте LSE Blogs – https://blogs.lse.ac.uk/impactofsocialsciences/2018/02/28/statcheck-a-spellchecker-for-statistics/
Исследование The prevalence of statistical reporting errors in psychology (1985–2013), 2015 – https://link.springer.com/article/10.3758/s13428-015-0664-2
Исследование The GRIM test: A simple technique detects numerous anomalies in the reporting of results in psychology, 2017 – https://psycnet.apa.org/record/2017-29764-00
Статья How a data detective exposed suspicious medical trials, 2019 на сайте Nature – https://www.nature.com/articles/d41586-019-02241-z
Исследование The analysis of 168 randomised controlled trials to test data integrity, 2012 – https://associationofanaesthetists-publications.onlinelibrary.wiley.com/doi/10.1111/j.1365-2044.2012.07128.x
Исследование Data fabrication and other reasons for non-random sampling in 5087 randomised, controlled trials in anaesthetic and general medical journals, 2017 – https://associationofanaesthetists-publications.onlinelibrary.wiley.com/doi/10.1111/anae.13938
Исследование The poor availability of psychological research data for reanalysis, 2006 – https://psycnet.apa.org/record/2006-12925-016
Исследование The ghosts of HeLa: How cell line misidentification contaminates the scientific literature, 2017 – https://journals.plos.org/plosone/article?id=10.1371%2Fjournal.pone.0186281
Статья Responsibility for trust in research, 1981 на сайте Nature – https://www.nature.com/articles/289211b0
Исследование Risk of Bias in Reports of In Vivo Research: A Focus for Improvement, 2015 – https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002273
Исследование Power failure: why small sample size undermines the reliability of neuroscience, 2013 – https://www.nature.com/articles/nrn3475
Исследование Statistical power of clinical trials increased while effect size remained stable: an empirical analysis of 136,212 clinical trials between 1975 and 2014, 2018 – https://pubmed.ncbi.nlm.nih.gov/29981870/
Исследование How genome-wide association studies (GWAS) made traditional candidate gene studies obsolete, 2019 – https://www.nature.com/articles/s41386-019-0389-5
Исследование GWAS on family history of Alzheimer’s disease, 2018 – https://www.nature.com/articles/s41398-018-0150-6
Видео «Популяризация науки: от просвещения к мракобесию», 2017 год, канал FutureBiotech, цитата с 13:45 – https://youtu.be/8hMmPZT7Rws
Статья A Bacterium That Can Grow by Using Arsenic Instead of Phosphorus, 2010 на сайте Science – https://www.science.org/doi/10.1126/science.1197258
Исследование GFAJ-1 Is an Arsenate-Resistant, Phosphate-Dependent Organism, 2012 – https://www.science.org/doi/10.1126/science.1218455
Исследование The association between exaggeration in health related science news and academic press releases: retrospective observational study, 2014 – https://www.bmj.com/content/349/bmj.g7015
Исследование Claims of causality in health news: a randomised trial, 2019 – https://bmcmedicine.biomedcentral.com/articles/10.1186/s12916-019-1324-7
Исследование Poor replication validity of biomedical association studies reported by newspapers, 2017 – https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0172650
Книга Mindset: The New Psychology of Success, Carol S. Dweck, 2007, издательство Ballantine Books – https://www.amazon.com/Mindset-Psychology-Carol-S-Dweck/dp/0345472322
Исследование To What Extent and Under Which Circumstances Are Growth Mind-Sets Important to Academic Achievement? Two Meta-Analyses, 2018 – https://journals.sagepub.com/doi/10.1177/0956797617739704
Книга Before You Know It: The Unconscious Reasons We Do What We Do, John Bargh, 2017, издательство Atria Books – https://www.amazon.com/Before-You-Know-Unconscious-Reasons/dp/1501101218
Книга Why We Sleep: Unlocking the Power of Sleep and Dreams, Matthew Walker, 2017, издательство Scribner – https://www.amazon.com/Why-We-Sleep-Unlocking-Dreams/dp/1501144316
Статья Matthew Walker's "Why We Sleep" Is Riddled with Scientific and Factual Errors, 2019 на сайте Guzey.com (личный блог ученого) – https://guzey.com/books/why-we-sleep/
Исследование Use of positive and negative words in scientific PubMed abstracts between 1974 and 2014: retrospective analysis, 2015 – https://www.bmj.com/content/351/bmj.h6467
Исследование Reporting and Interpretation of Randomized Controlled Trials With Statistically Nonsignificant Results for Primary Outcomes, 2010 – https://jamanetwork.com/journals/jama/fullarticle/185952
Статья Still Not Significant, 2013 на сайте Probable Error (личный блог ученого) – https://mchankins.wordpress.com/2013/04/21/still-not-significant-2/
Исследование It's All How You "Spin" It. Interpretive Bias in Research Findings in the Obstetrics and Gynecology Literature, 2017 – https://journals.lww.com/greenjournal/abstract/2017/02000/it_s_all_how_you__spin__it__interpretive_bias_in.2.aspx
Исследование Overinterpretation and misreporting of prognostic factor studies in oncology: a systematic review, 2018 – https://www.nature.com/articles/s41416-018-0305-5
Исследование Evaluation of spin within abstracts in obesity randomized clinical trials: A cross-sectional review, 2019 – https://pubmed.ncbi.nlm.nih.gov/30576083/
Исследование Spin in RCTs of anxiety medication with a positive primary outcome: a comparison of concerns expressed by the US FDA and in the published literature, 2017 – https://pubmed.ncbi.nlm.nih.gov/28360236/
Исследование The lure of misleading causal statements in functional connectivity research, 2018 – https://arxiv.org/abs/1812.03363
Исследование Randomized trials published in some Chinese journals: how many are randomized?, 2009 – https://trialsjournal.biomedcentral.com/articles/10.1186/1745-6215-10-46
Исследование Overinterpretation of Research Findings: Evidence of "Spin" in Systematic Reviews of Diagnostic Accuracy Studies, 2017 – https://researchinformation.amsterdamumc.org/en/publications/overinterpretation-of-research-findings-evidence-of-spin-in-syste
Исследование Human Gut Microbiota from Autism Spectrum Disorder Promote Behavioral Symptoms in Mice, 2019 – https://pubmed.ncbi.nlm.nih.gov/31150625/
Статья Can gut bacteria cause autism (in mice)?, 2019 на сайте Medium – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6365110/
Исследование The gut microbiome from patients with schizophrenia modulates the glutamate-glutamine-GABA cycle and schizophrenia-relevant behaviors in mice, 2019 – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6365110/
Статья Dipak Kumar Das (1946-2013) who faked data about resveratrol – the magic red wine ingredient that cures everything?, 2017 на сайте Dr Geoff (личный сайт ученого) – https://drgeoffnutrition.wordpress.com/2017/11/10/dipak-kumar-das-1946-2013-who-faked-data-about-resveratrol-the-magic-red-wine-ingredient-that-cures-everything/
Словарная статья про ресвератрол на сайте Академик.ру – https://technical_translator_dictionary.academic.ru/214842/ресвератрол
Статья Backlash Over Meat Dietary Recommendations Raises Questions About Corporate Ties to Nutrition Scientists, 2020 на сайте JAMA Network – https://jamanetwork.com/journals/jama/article-abstract/2759201
Статья Scientist Who Discredited Meat Guidelines Didn’t Report Past Food Industry Ties, 2019 на сайте The New York Times – https://www.nytimes.com/2019/10/04/well/eat/scientist-who-discredited-meat-guidelines-didnt-report-past-food-industry-ties.html
Статья From Beef to Bots? Harvard Professors Mired in Debate Over Spam Emails, Industry-Funded Research, 2020 на сайте The Harvard Crimson – https://www.thecrimson.com/article/2020/1/24/hsph-beef-spam-debate/
Статья The meat wars: A backlash is occurring on the backlash to meat dietary recommendations published late last year, 2020 на сайте ILRI – https://www.ilri.org/news/meat-wars-backlash-occurring-backlash-meat-dietary-recommendations-published-late-last-year
Статья How plant-based meat scientists tried to block pro-red meat study, 2020 на сайте Beef central – https://www.beefcentral.com/lotfeeding/nutrition/plant-based-meat-scientists-tried-to-block-pro-red-meat-study/
Исследование The effect of replacing saturated fat with mostly n-6 polyunsaturated fat on coronary heart disease: a meta-analysis of randomised controlled trials, 2017 – https://pubmed.ncbi.nlm.nih.gov/28526025/
Исследование Is everything we eat associated with cancer? A systematic cookbook review, 2013 – https://pubmed.ncbi.nlm.nih.gov/23193004/
Исследование (отозванное) Primary prevention of cardiovascular disease with a Mediterranean diet, 2013 – https://pubmed.ncbi.nlm.nih.gov/23432189/
Исследование Data fabrication and other reasons for non-random sampling in 5087 randomised, controlled trials in anaesthetic and general medical journals, 2017 – https://associationofanaesthetists-publications.onlinelibrary.wiley.com/doi/10.1111/anae.13938
Статья The Data That Threatened to Break Physics, 2015 на сайте Nautilus – https://nautil.us/the-data-that-threatened-to-break-physics-235415/
Статья Publish or perish? The rise of the fractional author…, 2014 на сайте Research Trends – https://www.researchtrends.com/researchtrends/vol1/iss38/5/
Статья The continuing evolution of publishing in the biological sciences, 2018 на сайте Journals Gateway – https://journals.biologists.com/bio/article/7/8/bio037325/2159/The-continuing-evolution-of-publishing-in-the
Исследование Publish or impoverish: An investigation of the monetary reward system of science in China (1999-2016), 2017 – https://www.emerald.com/insight/content/doi/10.1108/AJIM-01-2017-0014/full/html
Статья Cash bonuses for peer-reviewed papers go global, 2017 на сайте Science – https://www.science.org/content/article/cash-bonuses-peer-reviewed-papers-go-global
Сайт Research Excellence Framework, британской системы оценки качества исследований в высших учебных заведениях Великобритании, которая не была принята в ЕС – https://www.ref.ac.uk/
Исследование A time allocation study of university faculty, 2008 – https://www.sciencedirect.com/science/article/abs/pii/S0272775707000623
Доклад The Scientific Century: securing our future prosperity, 2010 – https://royalsociety.org/news-resources/publications/2010/scientific-century/
Исследование Academia’s never-ending selection for productivity, 2015 – https://link.springer.com/article/10.1007/s11192-015-1534-5
Статья Education: The PhD factory, 2011 на сайте Nature – https://www.nature.com/articles/472276a
Исследование Why the Reward Structure of Science Makes Reproducibility Problems Inevitable, 2018 – https://pure.rug.nl/ws/portalfiles/portal/102031400/Heesen_2018_Why_the_Reward_Structure_of_Science_Makes_Reproducibility_Problems_Inevitable.pdf
Исследование A novel relationship for schizophrenia, bipolar and major depressive disorder Part 5: a hint from chromosome 5 high density association screen, 2017 – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5446530/
Статья Is the salami sliced too thinly?, 1989 на сайте Nature – https://www.nature.com/articles/342733a0
Исследование A case study of salami slicing: pooled analyses of duloxetine for depression, 2010 – https://pubmed.ncbi.nlm.nih.gov/20051707/
Статья South Korean plant compound researcher faked email addresses so he could review his own studies, 2012 – https://retractionwatch.com/2012/08/24/korean-plant-compound-researcher-faked-email-addresses-so-he-could-review-his-own-studies/
Исследование The decline in the concentration of citations, 1900–2007, 2009 – https://onlinelibrary.wiley.com/doi/10.1002/asi.21011
Статья An index to quantify an individual's scientific research output, 2005 на сайте Proceedings of the National Academy of Sciences (PNAS) – https://www.pnas.org/doi/10.1073/pnas.0507655102
Исследование Scientific citations favor positive results: a systematic review and meta-analysis, 2017 – https://pubmed.ncbi.nlm.nih.gov/28603008/
Исследование A macro study of self-citation, 2003 – https://link.springer.com/article/10.1023/A:1021919228368
Исследование Potentially coercive self-citation by peer reviewers: a cross-sectional study, 2015 – https://pubmed.ncbi.nlm.nih.gov/25300537/
Статья «Импакт-фактор журнала в научных базах», 2021 на сайте «Издательство СибАК» – https://sibac.info/blog/impakt-faktor-zhurnala-v-nauchnyh-bazah
Статья The Emergence of a Citation Cartel, 2012 на сайте The Scholarly Kitchen – https://scholarlykitchen.sspnet.org/2012/04/10/emergence-of-a-citation-cartel/
Исследование The natural selection of bad science, 2016 на сайте Royal Society Open Science – https://royalsocietypublishing.org/doi/10.1098/rsos.160384
Исследование The cumulative effect of reporting and citation biases on the apparent efficacy of treatments: the case of depression, 2018 – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6190062/
Сайт-архив журнала Journal of Negative Results in BioMedicine – https://jnrbm.biomedcentral.com/articles
Статья Scientists rise up against statistical significance, 2019 на сайте Nature – https://www.nature.com/articles/d41586-019-00857-9
Статья «Доверительный интервал за 15 минут», 2020 на сайте «НМА Литобзор» – https://lit-review.ru/biostatistika/doveritelnyjj-interval/
Статья «Теорема Байеса: просто о сложном», 2021 на сайте Хабр.com – https://habr.com/ru/articles/598979/
Исследование Increasing Transparency Through a Multiverse Analysis, 2016 – https://journals.sagepub.com/doi/10.1177/1745691616658637
Исследование, Airborne Transmission of Influenza A/H5N1 Virus Between Ferrets, 2012 – https://www.science.org/doi/10.1126/science.1213362
Статья Scientific Research Shouldn’t Sit behind a Paywall, 2019 на сайте Scientific American – https://www.scientificamerican.com/blog/observations/scientific-research-shouldnt-sit-behind-a-paywall/
Статья «Какая рентабельность у 13 крупнейших российских компаний? ROE и ROA простыми словами», 2022 на сайте Тинькофф.Пульс – https://www.tinkoff.ru/invest/social/profile/ValeriaTihonova/a6a9a869-c922-4ea0-8464-d6436b32b4d1/
Cтат. справка Number of new coronavirus (COVID-19) deaths in Europe since February 2020 (as of January 13, 2023), by date of report, на сайте Statista – https://www.statista.com/statistics/1102288/coronavirus-deaths-development-europe/
Статья «История чумы», 2020 на сайте Arzamas – https://arzamas.academy/mag/823-plague
Исследование Space and social distancing in managing and preventing COVID-19 community spread: An overview, 2023 – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9940482/
Статья Social distancing and focused protection don’t work, 2023 на сайте Times of India – https://timesofindia.indiatimes.com/blogs/seeing-the-invisible/social-distancing-and-focused-protection-dont-work/
Статья Coronavirus disease (COVID-19): Masks, 2023 на сайте ВОЗ – https://www.who.int/news-room/questions-and-answers/item/coronavirus-disease-covid-19-masks
Исследование Physical interventions to interrupt or reduce the spread of respiratory viruses, 2023 (не пускают с российских IP) – https://www.cochranelibrary.com/cdsr/doi/10.1002/14651858.CD006207.pub6/full
Статья Overview of COVID-19 Vaccines, 2024 на сайте CDC – https://www.cdc.gov/coronavirus/2019-ncov/vaccines/different-vaccines/overview-COVID-19-vaccines.html
Исследование (отозванное) COVID-19 mRNA Vaccines: Lessons Learned from the Registrational Trials and Global Vaccination Campaign, 2024 – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10810638/ ; причины отзыва исследования на Пабмеде – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10897748/ ; более подробные причины отзыва в статье Paper claiming "extensive" harms of COVID-19 vaccines to be retracted, 2024 на сайте Retraction Watch – https://retractionwatch.com/2024/02/19/paper-claiming-extensive-harms-of-covid-19-vaccines-to-be-retracted/ ; критика причин отзыва с сайта Retraction Watch в статье De Inquisitie van Retractionwatch, 2024 на сайте Opinie en wetenschapscolumns over coronabeleid – https://virusvaria.nl/de-inquisitie-van-retractionwatch/
Информационный бюллетень What You Need to Know About Viral Vector Vaccines, 2022 на сайте Public Health Ontario – https://www.publichealthontario.ca/-/media/documents/ncov/vaccines/2021/04/covid-19-fact-sheet-viral-vector-vaccines.pdf
Исследование COVID-19 vaccines and adverse events of special interest: A multinational Global Vaccine Data Network (GVDN) cohort study of 99 million vaccinated individuals, 2024 – https://www.sciencedirect.com/science/article/pii/S0264410X24001270
Исследование Exploring the reported adverse effects of COVID-19 vaccines among vaccinated Arab populations: a multi-national survey study, 2024 – https://www.nature.com/articles/s41598-024-54886-0
Статья «Чуть больше 13% пациентов больницы в Коммунарке выжили после ИВЛ», 2020 на сайте ТАСС – https://tass.ru/moskva/8439785 ; Статья «"Против COVID использовали лекарство от подагры": Как лечили больных в госпитале, показавшем лучшие результаты в Москве», 2020 на сайте «Комсомольская правда» – https://www.kp.ru/daily/27147/4242427/ ; Схема лечения «Протокол лечения Covid-19 Медицинского Центра МГУ», 2020 на сайте «Медицинский научно-образовательный центр МГУ имени М. В. Ломоносова» – http://mc.msu.ru/m/protokol-mnoc.pdf
Руководство Therapeutic Management of Nonhospitalized Adults With COVID-19, 2024 на сайте COVID-19 Treatment Guidelines – https://www.covid19treatmentguidelines.nih.gov/management/clinical-management-of-adults/nonhospitalized-adults--therapeutic-management/
Исследование A naturopathic treatment approach for mild and moderate COVID-19: A retrospective chart review, 2021 – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8570825/
Статья Did Dehumanization of the Unvaccinated Occur During the COVID Era?, 2024 на сайте Real Left – https://real-left.com/did-dehumanization-of-the-unvaccinated-occur-during-the-covid-era/
Исследование Human rights and the COVID-19 pandemic: a retrospective and prospective analysis, 2023 – https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(22)01278-8/fulltext
Статья Human Rights During the Pandemic: COVID-19 and Securitisation of Health, 2021 на сайте Taylor & Francis Online – https://www.tandfonline.com/doi/full/10.1080/18918131.2021.1965367
Статья For the first time, you can see what a black hole looks like, 2019 на сайте Sceince – https://www.science.org/content/article/black-hole
Исследование Lentiviral Gene Therapy Combined with Low-Dose Busulfan in Infants with SCID-X1, 2019 – https://pubmed.ncbi.nlm.nih.gov/30995372/
Исследование Realizing the Dream of Molecularly Targeted Therapies for Cystic Fibrosis, 2019 – https://pubmed.ncbi.nlm.nih.gov/31670919/
Исследование Quantum teleportation-based state transfer of photon polarization into a carbon spin in diamond, 2019 – https://www.nature.com/articles/s42005-019-0158-0
Исследование Mammalian Near-Infrared Image Vision through Injectable and Self-Powered Retinal Nanoantennae, 2019 – https://www.cell.com/fulltext/S0092-8674(19)30101-1
Статья 00M research misconduct case against Duke moving forward, as judge denies motion to dismiss, 2017 на сайте Retraction Watch – https://retractionwatch.com/2017/04/28/200m-research-misconduct-case-duke-moving-forward-judge-denies-motion-dismiss/
Исследование Conservatives and Liberals have Similar Physiological Responses to Threats, 2020 – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7306406/
Статья Russian journals retract more than 800 papers after "bombshell" investigation, 2020 на сайте Science – https://www.science.org/content/article/russian-journals-retract-more-800-papers-after-bombshell-investigation
Статья Highly cited researcher banned from journal board for citation abuse, 2020 на сайте Nature – https://www.nature.com/articles/d41586-020-00335-7
Отчет Wellcome Global Monitor, 2018 на сайте Wellcome.org – https://wellcome.org/sites/default/files/wellcome-global-monitor-2018.pdf
Отчет Americans’ Trust in Scientists, Positive Views of Science Continue to Decline, 2023 на сайте Pew Research Center – https://www.pewresearch.org/science/2023/11/14/americans-trust-in-scientists-positive-views-of-science-continue-to-decline/
Статья The Climategate Whitewash Continues, 2010 на сайте Cato Institute – https://www.cato.org/commentary/climategate-whitewash-continues
Статья Climategate 10 years on: what lessons have we learned?, 2019 на сайте The Guardian – https://www.theguardian.com/theobserver/2019/nov/09/climategate-10-years-on-what-lessons-have-we-learned
Небольшая статья и видео "Climategate": 10 years on, what's changed?, 2019 на сайте BBC – https://www.bbc.com/news/av/science-environment-48925015
Статья "Climategate", 2009 на сайте FactCheck.org – https://www.factcheck.org/2009/12/climategate/
Отчет The Climategate emails, 2010 на сайте Lavoisier Group Website – https://www.lavoisier.com.au/articles/greenhouse-science/climate-change/climategate-emails.pdf
Статья «Из истории генетики», 2021 на сайте журнала «Биология» – https://bio.1sept.ru/view_article.php?ID=200402003
Исследование Hydroxychloroquine and azithromycin as a treatment of COVID-19: results of an open-label non-randomized clinical trial, 2020 – https://pubmed.ncbi.nlm.nih.gov/32205204/
Исследование (отозванное) RETRACTED: Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis, 2020 – https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(20)31180-6/fulltext
Исследование Effect of Hydroxychloroquine in Hospitalized Patients with Covid-19, 2020 – https://pubmed.ncbi.nlm.nih.gov/33031652/
Исследование Effect of Hydroxychloroquine and Azithromycin Combination Use in COVID-19 Patients - An Umbrella Review, 2024 – https://pubmed.ncbi.nlm.nih.gov/38425958/
Исследование Deaths induced by compassionate use of hydroxychloroquine during the first COVID-19 wave: an estimate, 2024 – https://pubmed.ncbi.nlm.nih.gov/38171239/
Исследование Efficacy and safety of in-hospital treatment of Covid-19 infection with low-dose hydroxychloroquine and azithromycin in hospitalized patients: A retrospective controlled cohort study, 2023 – https://www.sciencedirect.com/science/article/pii/S2052297523000914
Исследование The prophylactic effect of hydroxychloroquine on the severity of COVID-19 infection in an asymptomatic population: A randomized clinical trial, 2024 – https://journals.sbmu.ac.ir/sdh/article/view/43032
Раздел Talks статьи Didier Raoult комментарий Raoult's Medical Recommendations Misrepresented, 2020 в Википедии – https://en.wikipedia.org/wiki/Talk:Didier_Raoult/Archive_1
Сайт Beall's list. Of potential predatory journals and publishers, который содержит современную версию списка хищнических журналов – https://beallslist.net/
Сайт Science Media Centre – https://www.sciencemediacentre.org/
Сайт Pubpeer – https://pubpeer.com/
Видео «Вебинар Механизмы стимулирования публикационной активности и способы манипулирования показателями», 2017 на ютуб-канале РИЭПП – https://youtu.be/mwNasHH3wRU
Видео «Кризис воспроизводимости в психологии [ворчалка]», 2019 на ютуб-канале Павла Зыгмантовича – https://youtu.be/G6nfKs7WOW8
Видео «Большинство научных публикаций врут? [Veritasium]», 2019 на ютуб-канале Vert Dider – https://youtu.be/3eD0zADJvHk
Видео «Павел Зыгмантович | Доказательная психология и кризис воспроизводимости», 2023 на ютуб-канале «Байесятина» – https://youtu.be/xyyRLFeIGc0
Видео «Кризис воспроизводимости побеждён? ОБЪЯСНЯТЬ И ПРЕДСКАЗЫВАТЬ – выпуск #2», 2021 на ютуб-канале Ivan Ivanchei – https://youtu.be/tl8jrxU0BJ8
Видео «Популяризация науки: от просвещения к мракобесию», 2017 на ютуб-канале FutureBiotech – https://youtu.be/8hMmPZT7Rws
Статья Thalidomide, 2019 на сайте Science Museum – https://www.sciencemuseum.org.uk/objects-and-stories/medicine/thalidomide
Статья «К чему приводит профилактическое удаление аппендикса у младенцев», 2020 на сайте МК в Волгограде – https://volg.mk.ru/social/2020/06/18/k-chemu-privodit-profilakticheskoe-udalenie-appendiksa-u-mladencev.html
Статья The Case Against Appendectomies, 2018 на сайте The New York Times – https://www.nytimes.com/2018/11/19/well/live/the-case-against-appendectomies.html
Раздел Talks статьи Appendectomy комментарий Appendectomy, 2021 в Википедии – https://en.wikipedia.org/wiki/Talk:Appendectomy
Исследование Biofilms in the large bowel suggest an apparent function of the human vermiform appendix, 2007 – https://www.sciencedirect.com/science/article/abs/pii/S002251930700416X
Исследование The vermiform appendix: not a useless organ, 2004 – https://pubmed.ncbi.nlm.nih.gov/15228837/
Статья The evolution of mastectomy surgical technique: from mutilation to medicine, 2018 на сайте Gland Surgery – https://gs.amegroups.org/article/view/16903/19693
Словарная статья про абляцию на сайте Академик.ру – https://dic.academic.ru/dic.nsf/medic2/47
Исследование To Err is Human: Can American Medicine Learn from Past Mistakes?, 2017 – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5478585/
Статья «Прыжок без парашюта: научная медицина против доказательной», 2023 в вк-странице Александра Панчина – https://vk.com/wall187756_541256
Статья Shipyards, a Crucible for Tragedy. Part 1: How the war created a monster, 2001 на сайте Cooper, Hart, Leggiero & Whitehead, PLCC – https://www.asbestos-attorney.com/pilot3-1.htm
Статья Asbestos Exposure and Cancer Risk, 2021 на сайте National Cancer Institute – https://www.cancer.gov/about-cancer/causes-prevention/risk/substances/asbestos/asbestos-fact-sheet
Статья Consequences of DDT Exposure Could Last Generations, 2021 на сайте Scientific American – https://www.scientificamerican.com/article/consequences-of-ddt-exposure-could-last-generations/
Статья «Наука при национал-социализме», 2013 на сайте «Скепсис. Научно-просветительский журнал» – https://scepsis.net/library/id_471.html
Статья «Японская наука превыше всего!», 2014 на сайте «КиберЛенинка» – https://cyberleninka.ru/article/n/yaponskaya-nauka-prevyshe-vsego/viewer
Книга Science for the Empire. Scientific Nationalism in Modern Japan, Hiromi Mizuno, 2008, издательство Stanford University Press – https://www.sup.org/books/title/?id=11572
Статья What Does DEI in Research Look Like?, 2023 на сайте University of Minnesota Medical School – https://med.umn.edu/news/what-does-dei-research-look
Статья Five top tips for advancing DEI in research environments, 2023 на сайте Clarivate – Data, Insights and Analytics for the Innovation – https://clarivate.com/blog/five-top-tips-for-advancing-dei-in-research-environments/
Статья In 1950, the U.S. Released a Bioweapon in San Francisco, 2015 на сайте Smithsonian Magazine: Explore History, Science, Arts & Culture – https://www.smithsonianmag.com/smart-news/1950-us-released-bioweapon-san-francisco-180955819/
Статья The U.S. Military Once Tested Biological Warfare On The Whole Of San Francisco, 2015 на сайте IFLScience: The Lighter Side of Science – https://www.iflscience.com/us-military-simulated-biological-warfare-san-francisco-29402
Статья MK-Ultra, 2017 на сайте HISTORY | Watch Full Episodes of Your Favorite Shows – https://www.history.com/topics/us-government-and-politics/history-of-mk-ultra
Статья «Хроники крупнейшего сбоя Facebook, причины и серьезные последствия для компании» (Facebook – организация, деятельность которой запрещена на территории Российской Федерации, и которая признана экстремистской)), 2021 на сайте Хабр.com – https://habr.com/ru/companies/selectel/articles/578240/
Статья «God mode Вконтакте», 2017 на сайте Хабр.com – https://habr.com/ru/companies/vk/articles/324722/
Статья A Look At How The Revolving Door Spins From FDA To Industry, 2016 на сайте NPR – Breaking News, Analysis, Music, Arts & Podcasts – https://www.npr.org/sections/health-shots/2016/09/28/495694559/a-look-at-how-the-revolving-door-spins-from-fda-to-industry
Статья Top FDA Officials Took High-Paying Big Pharma Jobs after Approving Covid Shots, 2023 на сайте Slay News – https://slaynews.com/news/top-fda-officials-took-high-paying-big-pharma-jobs-approving-covid-shots/
Статья What I learned from predatory publishers, 2017 на сайте National Library of Medicine – https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5493177/