Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

«Сейчас в игру вступают люди с невероятно высокими интеллектуальными и творческими способностями, – рассказывал мне Бин. – Если бы я хотел получить свою работу десятью годами позже, то не дошел бы даже до стадии собеседования».

Moneyball умер; да здравствует Moneyball.

Глава 4 Вы столько лет говорили нам, что дождь – зеленый

Во вторник 23 августа 2005 г. самолет-разведчик ВВС США уловил признаки атмосферных возмущений над Багамами{237}. Члены экипажа наблюдали «несколько небольших воздушных вихрей», вращавшихся против часовой стрелки и перемещающихся с востока на запад – от просторов Атлантического океана в сторону США. Подобное изменение в движении ветра было сложно выявить на основании данных спутников или наземного наблюдения, однако постепенно все больше экипажей грузовых лайнеров стали докладывать о нем. Национальный Центр слежения за ураганами (NHC) посчитал, что собрал достаточно свидетельств, чтобы охарактеризовать это явление как тропический циклон, получивший название «Тропическая депрессия 12»[62]. Это был «коварный» шторм, способный как развиться в нечто более серьезное, так и просто исчезнуть без следа. Примерно половина всех тропических депрессий в Атлантическом бассейне со временем перерастает в ураганы{238}.

Однако эта депрессия быстро набирала силу, и уже днем в среду на основе компьютерных расчетов в соответствии с одной из моделей Центр слежения за ураганами прогнозировал двойной удар по побережью Соединенных Штатов: один ударит по побережью южной Флориды, а второй может принять форму «циклона, движущегося в направлении к Новому Орлеану»{239}. Но шторм набрал достаточно силы, чтобы стать ураганом, и ему было присвоено имя «Катрина»{240}.

«Катрина» сначала пронеслась над территорией к северу от Майами, а через несколько часов обрушилась на национальный парк Эверглейдс во Флориде в виде урагана категории 1. Но этот ураган продолжался не так долго, чтобы угрожать множеству жизней, но не был и настолько длительным, чтобы растерять свою энергию. Напротив, «Катрина» набирала силу в теплых водах Мексиканского залива. Уже через несколько часов утром в субботу прогноз стал менее благоприятным: «Катрина» превратилась в ураган категории 3 и имела немалые шансы стать ураганом категории 5. Ее прогнозируемая траектория постепенно смещалась в западном направлении, в сторону от Пэнхэндла[63] во Флориде к Миссисипи и Луизиане. Теперь все компьютерные модели предрекали одно и то же: шторм начал угрожать Новому Орлеану{241}.

«Насколько я помню, после удара “Катрины” я участвовал в пяти слушаниях в Конгрессе», – рассказывал Макс Мэйфилд, бывший директором Центра в тот период, когда этот ураган достиг побережья. Во время нашей беседы я попросил его вспомнить, когда он впервые осознал весь масштаб угрозы. «Один из конгрессменов спросил меня, когда я впервые начал беспокоиться о Новом Орлеане, а я ответил ему “Шестьдесят лет назад”».

Сильный ураган, обрушивающийся на Новый Орлеан, – самый страшный кошмарный сон любого синоптика. В городе имелись идеальные условия, позволяющие привести к разрушениям и массовой гибели людей. С одной стороны, географическое положение – Новый Орлеан скорее не граничит с Мексиканским заливом, а утопает в нем. Основная масса горожан проживала в помещениях, расположенных ниже уровня моря, и полагалась на устаревшую систему дамб и природных барьеров, которые постепенно смывались морем{242}. С другой стороны, существует проблема, связанная с определенным типом культуры жителей Нового Орлеана. Они многое делают хорошо, но есть две вещи, которые они с гордостью отказываются делать: они никогда не двигаются быстро и не особо доверяют властям. В противном случае это просто был бы не Новый Орлеан. И, конечно, если бы не эти обстоятельства, город куда лучше подготовился бы к встрече с «Катриной», поскольку именно на эти обстоятельства стоит обратить внимание, когда возникает угроза урагана.

Национальный Центр слежения за ураганами уточнил свой прогноз, касающийся «Катрины»; ему удалось рассчитать возможность удара по городу почти за пять дней до разрушения дамб. Центр посчитал, что развитие ситуации по достаточно кошмарному сценарию вполне вероятно, причем уже через 48 часов. 20 или 30 лет назад столь заблаговременное предупреждение вряд ли было возможным, и в итоге удалось бы эвакуировать значительно меньше людей. Прогноз Центра и постоянные улучшения качества прогнозирования погоды за последние десятилетия, вне всякого сомнения, помогли спасти множество жизней.

Однако к прогнозам центра прислушались далеко не все. Примерно 80 тысяч жителей Нового Орлеана{243} – почти пятая часть населения города в то время – не смогли эвакуироваться, и 1600 из них погибли. Опросы выживших показали, что около двух третей из них не думали, что шторм будет настолько сильным{244}. Другие были в замешательстве от того, как осуществлялась эвакуация. Мэр города Рэй Нейгин ждал почти 24 часа, прежде чем объявил об обязательной эвакуации, несмотря на обращения Мэйфилда и других официальных лиц. Тем не менее некоторые жители – бедные, пожилые или не имевшие доступа к новостям – не могли покинуть город, даже если бы и захотели.

Прогнозирование погоды – одна из историй успеха, о которых рассказывает книга. Именно в этой области человек и машина способны объединить усилия, чтобы понять всю сложность окружающей природы, а то и предвидеть ее поведение. Однако тот факт, что мы можем порой предсказать поведение природы, совсем не означает, что мы можем его изменить. Кроме того, прогноз не имеет никакого смысла, если его никто не хочет слушать. История «Катрины» – это история человеческой изобретательности и человеческих ошибок.

Прогноз погоды от суперкомпьютера

Суперкомпьютеры лаборатории Национального центра атмосферных исследований (NCAR), расположенного в Булдере, штат Колорадо, создают, по сути, свою собственную погоду. Они сильно нагреваются и излучают тепловую энергию – 77 трлн вычислений, которые ежесекундно делает суперкомпьютер IBM Bluefire, вызывают значительное потепление. Они создают ветер – поскольку у страны должна всегда оставаться способность прогнозировать погоду, компьютеры нужно охлаждать, и поэтому вокруг компьютеров установлено несколько мощных вентиляторов высокого давления, постоянно обдувающих их потоком кислорода. Они настолько шумные, что в комплект спецодежды сотрудников ввели стандартные средства защиты слуха.

Bluefire разделен на 11 секций высотой примерно по 2,5 м и шириной около 50 см, по бокам каждой из которых тянется ярко-зеленый шлейф. Сзади эти шкафы напоминают типичный суперкомпьютер, каким мы его себе представляем – масса переплетенных кабелей и синих огоньков, мерцающих в «мозге» машины. Спереди же по форме и размерам они напоминают портативные туалеты, а сходство лишь усиливается благодаря двери с серебряной ручкой.

Я говорю об этом доктору Ричарду Лофту, директору NCAR по технологическому развитию, контролирующему работу суперкомпьютерной лаборатории. Метеорологи привыкли к подобному юмору. Ларри Дэвид в своем шоу Curb Your Enthusiasm («Умерь свой энтузиазм») уверяет, что метеорологи иногда предсказывают дождь, когда его не ожидается, просто для того, чтобы занять лучшие места на поле для гольфа{245}. Политические рекламные ролики часто используют погодные метафоры для атаки на своих оппонентов{246}, заявляя, к примеру, что оппоненты переменчивы, как мнение метеорологических центров. Большинство людей полагает, что специалисты по прогнозированию погоды плохо делают свою работу.

Крайне забавно разглядывать ряды жужжащих компьютеров и думать: неужели все это бесполезно? Неужели все эти сложные устройства придуманы, чтобы предсказывать? И неужели, несмотря на всю свою сложность, они так и не могут сказать нам, будет ли завтра дождь?

Лофт не удивлялся моим вопросам. Увеличение мощности компьютеров никоим образом не улучшило качество прогнозирования землетрясений или процессов в экономике. Однако в метеорологии наметился значительный и даже примечательный прогресс. И во многом он был вызван именно ростом мощности суперкомпьютеров Лофта.

Очень короткая история прогнозирования погоды

«Позвольте мне отклониться от обычного повествования, – сказал мне Лофт, сидя в своем офисе. Оказалось, что он обладает чувством юмора – необычным и неординарным, чем-то напоминавшим героя сериала “Офис” Двайта Шрута[64]. По его словам, с самых древних времен человек пытался предсказать поведение окружавшей его среды. – Вы едете в каньон Чако или Стоунхендж и понимаете, что люди каким-то образом поняли, что могут предвидеть наступление и самого короткого, и самого длинного дня в году. Движение Луны по небу предсказуемо. Однако есть вещи, предсказать которые древним людям было не под силу: внезапное нападение хищного зверя, наводнение или гроза».