Бен Голдакр - Обман в науке

• Название: Обман в науке
• Автор: Бен Голдакр
• Издательство: ООО «Издательство «Эксмо»
• Жанр: Медицина
• Год: 2010
• ISBN: 978-5-699-36217-2

Известный английский журналист раскрывает загадочные тайны!

Почему многие ученые и журналисты выступают против использования вакцины от кори, краснухи и других опасных болезней? Зачем фальсифицируются данные о медицинских исследованиях? Кому выгодны страхи потребителей лекарств — фармацевтическим компаниям или «шарлатанам от науки»? К чему ведет потребление многочисленных пищевых добавок? Как связаны между собой политика и медицина?

Вы узнаете ответы на все эти и многие другие вопросы.

---

Давайте свяжем это с насилием. Самый лучший прогностический тест для психиатрического насилия имеет чувствительность 0,75 и специфичность 0,75. Еще труднее быть точным, если мы имеем дело с человеческим сознанием и меняющейся человеческой жизнью. Допустим, что 5 % пациентов, осмотренных бригадой психиатров в данном сообществе, в течение года совершат насильственное действие. Используя тот же самый математический метод, что и в случае с ВИЧ-тестом, мы узнаем, что наш лучший прогностический инструмент будет ошибаться в 86 случаях из 100. Для серьезного насилия, частота которого составляет 1 % в год, наш тест с чувствительностью 0,75 неправильно укажет на потенциального насильника 97 раз из 100. Стоит ли превентивно изолировать 97 человек, чтобы предотвратить три случая насилия? И стоит ли применять это в отношении алкоголиков и прочих антисоциальных типов?

Для убийства, самого редкого преступления среди пациентов с психозом, происходящего с частотой 1:10 000 в год, уровень ложноположительных результатов будет настолько высок, что лучший прогностический тест будет совершенно бесполезен.

Это не крик отчаяния. Есть вещи, которые можно делать, и вы можете попытаться снизить число насильственных преступлений, хотя трудно сказать, сколько «убийств в неделю» представляют собой явный провал системы, потому что, когда вы оглядываетесь назад и смотрите в ретроспектроскоп, может показаться, что все, что происходит, недвусмысленно ведет к одному негативному событию. Я только привожу вам математические выкладки для редких событий. Что с этим делать, решайте сами.

Вас посадят

В 1999 году юрист Салли Кларк (Sally Clark) предстала перед судом по обвинению в убийстве двух своих детей. Большинство людей сейчас знают, что в обвинении была допущена статистическая ошибка, но немногие знают истинную историю, или феноменальную степень статистического невежества, которая была продемонстрирована в суде. На процессе профессор Рой Медоу (Roy Meadow), эксперт, специализирующийся на родительском насилии над детьми, давал свидетельские показания. Медоу заявил (эта цитата стала знаменитой), что шанс того, что два ребенка в одной семье могли умереть от синдрома внезапной младенческой смерти (СВМС), равен 1 к 73 миллионам.

Это было очень сомнительное свидетельство по двум причинам: одну понять легко, вторую сложно. Поскольку вам придется сконцентрироваться на двух следующих страницах, вы будете более осведомлены в этом вопросе, чем профессор Рой Медоу, судья на процессе Салли Кларк, ее адвокаты, судьи апелляционного суда и почти все журналисты, освещавшие процесс. Сначала займемся легкой причиной.

Экологическая ошибка

Цифра 1 на 73 миллиона сама по себе неточна, как все сейчас признают. Она была рассчитана как 8,543 × 8,543, то есть как если бы шансы двух смертей от СВМС в одной семье были совершенно независимы друг от друга. Это неверно с самого начала, и ясно почему: в двух смертях в одной семье могли сыграть роль общие факторы окружающей среды или генетические факторы. Но забудьте о том, как вы были довольны собой, потому что это поняли. Даже если мы допустим, что вероятность двух случаев СВМС в одной семье гораздо выше, чем 1:73 000 000, скажем, 1:10 000, все равно такая цифра может иметь двоякое значение, как мы увидим.

Прокурорская ошибка

Реальный вопрос в этом деле — а что нам делать с этой сомнительной цифрой? Многие газеты в то время писали, что 1: 73 000 000 — это шанс того, что смерти детей Салли Кларк были случайными, то есть шанс того, что она невиновна. Многие в суде разделяли эту точку зрения, и факты, конечно, засели в сознании. Но это пример неправильного рассуждения, известный как «прокурорская ошибка», который довольно хорошо задокументирован.

Два младенца в одной семье умерли. Это сам по себе очень редкий случай. Если это произошло, суд должен рассмотреть два возможных объяснения: двойная внезапная младенческая смерть или двойное убийство. В нормальных обстоятельствах — до того как умерли дети — можно считать, что двойная младенческая смерть чрезвычайно маловероятна, но так же маловероятно и двойное убийство. Но после того как это случилось, оба объяснения — двойная внезапная младенческая смерть и двойное убийство — становятся гораздо более вероятными. Если мы хотим привлечь статистику, следует выяснить, какое из этих событий более редкое. Люди попытались подсчитать относительный риск этих двух событий, и в одной газете говорится, что он составляет 2:1 в пользу СВМС.

Этот решающий нюанс был не только ошибкой прокурора в то время — он был ошибкой всего суда; он также был упущен в апелляционном суде, на котором тем не менее было решено, что вместо 1:73 000 000 Рой Медоу должен был сказать «очень редко». Они признали и ошибку в вычислениях, и экологическую ошибку, «легкую проблему», о которой мы уже говорили, но они все же остались на его точке зрения, что двойная внезапная младенческая смерть — это чрезвычайно редкое событие.

Это, как вы понимаете, было совершенно неверно: редкость этого события не имеет отношения к данному случаю, поскольку двойное убийство детей — событие также чрезвычайно редкое. В суде был дважды упущен этот статистический нюанс.

Медоу выглядел глупо, и его за это обвиняли (некоторые могут сказать, что весь процесс был усугублен «охотой на ведьм» среди педиатров, которые занимаются насилием в отношении детей), но правда то, что он должен был заранее предвидеть проблемы с интерпретацией этой цифры, так же как и остальные участники процесса: педиатр несет не большую ответственность за ее интерпретацию, чем адвокат, судья, журналист, присяжный или чиновник. «Прокурорская ошибка» также играет роль в анализах ДНК, например, где интерпретация часто зависит от комплексных математических и контекстуальных проблем. Каждый, кто собирается трактовать цифры, использовать их, строить на них предположения, преследовать кого-либо на их основании и тем более сажать в тюрьму, должен взять на себя ответственность понимать их. Все, что вы сделали — это прочитали научно-популярную книгу о них и уже можете видеть, что это не ракетостроение.

Проигрыш в лотерею

Удивительнейшая вещь произошла со мной сегодня вечером. Я шел сюда, на лекцию, и зашел через парковку. Вы не поверите, что случилось. Я увидел машину с номером ARW 357. Можете представить? Каков был шанс, что из миллионов автомобильных номеров в штате я сегодня увижу именно этот номер? Удивительно…

Ричард Фейнман

Возможно также, что вам не повезет. Медсестра Лусия де Берк провела в голландской тюрьме шесть лет по обвинению в семи убийствах и трех попытках убийства. Необычно большое число людей умерло во время ее смен, и это, наряду с другими слабыми свидетельствами, послужило доказательством ее вины. Она не призналась в преступлениях и продолжала настаивать на своей невиновности, но в суде были представлены некоторые статистические данные.

Обвинение фактически было основано на цифре 1:342 000 000. Даже если мы найдем ошибки, а мы найдем, поверьте, так же как и в предыдущем случае, эта цифра окажется совершенно ни при чем. Как мы уже видели, интересные вещи, которые происходят в статистике, — это не математические трюки, а то, что действительно означают цифры.

Здесь мы имеем важный урок, из которого можем извлечь пользу: маловероятные вещи происходят. Кто-то каждую неделю выигрывает в лотерею, дети гибнут от молнии. Это становится по-настоящему удивительным только тогда, когда очень странные и невероятные вещи случаются, если вы их предсказали[52].

Вот аналогия.

Представьте, что я стою около большого деревянного сарая с большим автоматом в руках. Я надеваю на глаза повязку и начинаю беспорядочно палить, выпуская в сторону сарая тысячи пуль. Затем я бросаю автомат, подхожу в стене и внимательно в течение некоторого времени изучаю следы от пуль. Я нахожу место, где три пули попали в стену рядом, обвожу это место как мишень и заявляю, что я отличный стрелок.

Я думаю, вы не согласитесь ни с моим методом, ни с моими результатами. Но именно это и произошло в случае с Лусией: обвинители обнаружили семь смертей в смену одной медсестры, в одной больнице, в одном городе, в одной стране в мире, а затем нарисовали вокруг них мишень.

Это нарушает основное правило любого исследования, связанного со статистикой: вы не можете найти вашу гипотезу в ваших результатах. Прежде чем вы подвергнете данные статистическому анализу, вы должны уже иметь гипотезу для проверки. Если ваша гипотеза является результатом анализа данных, то нет смысла анализировать те же данные, чтобы ее подтвердить.

Это довольно сложная, философская математическая форма круговорота: но в этом случае есть также очень конкретные формы «кругового» рассуждения. Чтобы собрать больше данных, следствие вернулось в палаты посмотреть, не было ли там подозрительных смертей. Но люди, которых просили припомнить подозрительные случаи, уже знали, что Лусия может быть серийным убийцей. Существовал высокий риск того, что фраза «случай был подозрительным» станет синонимом фразы «Лусия была на дежурстве». Несколько внезапных смертей в те дни, когда Лусии не было на дежурстве, исключались из расчетов по определению: они не были подозрительными, потому что Лусии в это время не было.