Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

«Моя базовая техника, – говорил он, – состоит в том, чтобы сформировать комфортные и дружеские отношения с кандидатом в самом начале интервью, в основном заставляя их рассказывать о том, откуда они родом. Затем я пытаюсь задать более нацеленный вопрос. Назовите тот вопрос, по которому вы не согласны с лидерами своей партии. Цель состоит не в том, чтобы дать им раскрыться, а в том, чтобы лучше почувствовать их стиль и подход».

Интервью с Капанке следовало тому же шаблону. Тот факт, что Вассерман знает кучу нюансов и деталей политической географии, заставляет его казаться местным уроженцем, и Капанке был счастлив поговорить об особенностях своего района – о том, как много голосов избирателей ему нужно выиграть в Ла-Кросс, чтобы компенсировать потерю в О-Клер. Однако он начал запинаться после серии вопросов, связанных с обвинением в том, что он использовал переданные ему лоббистами средства на покупку нового освещения для стадиона «Loggers»{186}.

Это была мелочь; Капанке не обвиняли ни в измене жене, ни в махинациях с налогами. Однако этого было достаточно для того, чтобы убедить Вассермана изменить рейтинг{187}. Капанке действительно проиграл выборы в ноябре того года, отстав от лидера примерно на 9500 голосов, хотя республиканцы в целом выиграли выборы в большинстве подобных районов на Среднем Западе.

Это происходит не так уже часто; Вассерман обычно сохраняет тот же рейтинг после интервью. Несмотря на то что он пытается получить как можно больше новой информации из кандидатов, часто та оказывается не настолько важной, чтобы заставить его изменить мнение.

Подход Вассермана работает, поскольку он способен оценить полученные сведения, не поддаваясь очарованию сидящего перед ним кандидата. Многие менее способные аналитики могли бы чрезмерно открыться перед людьми, пытающимися их очаровать или обмануть, или какими-то еще путями потерялись бы в рассказах о кампании. Или же они могли влюбиться в собственное представление о том, как будет вести себя кандидат в ходе интервью, и полностью игнорировать всю другую информацию, связанную с кампанией.

Вместо этого Вассерман рассматривает все в более широком политическом контексте. Отличный кандидат от демократической партии, умело отвечающий на вопросы в ходе интервью, может не иметь никаких шансов в районе, где республиканец обычно побеждает с опережением на 20 пунктов.

Так для чего вообще тратить время на интервью с кандидатами? Чаще всего Вассерман ищет так называемые красные флаги. Например, конгрессмен-демократ Эрик Масса (который позднее был вынужден с позором уйти из Конгресса после обвинений в сексуальных домогательствах к сотруднику-мужчине) постоянно пытал Вассермана о том, сколько тому лет. Психолог Пол Меель называет такие случаи «примером сломанной ноги» – то есть ситуациями, в которых нечто становится настолько заметным, что будет глупо не принимать это во внимание{188}.

Способность улавливать подобные сигналы несколько раз в год помогает Вассерману улучшить прогнозы по тем или иным кампаниям. Он способен взвешивать информацию, получаемую в ходе интервью, без чрезмерного внимания к ней (что могло бы привести к ухудшению прогнозов). Не так важно, какая количественная или качественная информация к вам поступает, – гораздо важнее, каким образом вы ее используете.

Быть объективным непросто

В этой книге я очень тщательно подхожу к использованию понятий объективное и субъективное. Порой слово объективное ассоциируется с количественным, но это не всегда так. Напротив, оно означает способность не ограничиваться нашими личными предубеждениями и изучать истинное положение дел с той или иной проблемой{189}.

Абсолютная объективность всегда желательна, но недостижима в этом мире. Создавая прогноз, мы можем выбирать любой из множества различных методов. Некоторые из них, например опросы, основываются исключительно на количественных переменных, а другие подходы (например, подход Вассермана) могут принимать во внимание и качественные факторы. Однако все они приводят к принятию решений и выдвижению предположений специалистом по прогнозированию.

Везде, где имеется человеческое суждение, возможно и появление предубеждений. Чтобы стать более объективным, нам стоит признавать влияние, которое имеют наши предположения на прогнозы, и критически к ним относиться. И это может оказаться особенно сложным (особенно если учитывать наши собственные идеологические убеждения и сложности процесса создания связного повествования из данных) в областях с высоким уровнем шумов.

Поэтому вам придется принять на вооружение привычки некоторых ученых, которых можно увидеть в телевизионных передачах. Вам нужно научиться выражать – и оценивать количественным образом – неопределенность своих предсказаний. Вам понадобится корректировать свой прогноз по мере изменения фактов и обстоятельств. От вас потребуется признать необходимость видеть мир с разных точек зрения. Чем больше вы захотите это делать, тем легче вам будет оценивать огромные массивы информации без искажений и злоупотреблений.

Короче говоря, вам нужно научиться думать как «лиса». Прогнозист-«лиса» признает ограниченность человеческого суждения в попытках предсказания развития мира. И знание об этой ограниченности помогает ему создавать больше правильных предсказаний.

Глава 3 Все, что меня интересует, – это победы и поражения

Настроение игроков бейсбольной команды Red Sox было отвратительным. Они только что вернулись из Нью-Йорка, где проиграли все три игры серии ненавистным соперникам – команде Yankees, что лишило их всех шансов на выигрыш титула чемпионов Восточного отделения Американской лиги[28] в 2009 г.

Если учитывать, что в рамках официальных соревнований оставалось всего лишь семь игр, команда Red Sox была практически уверена, что сможет выйти в плей-офф, получив доступ в него от руководства Американской лиги[29]. Однако ни команда, ни ее руководители не хотели завершать сезон подобным образом. Хотя статистические исследования и показывают, что успешное или неуспешное завершение официального периода соревнований никак не сказывается на результатах команд в плей-офф{190}, игроки Red Sox почувствовали, что это не их год.

Я направлялся в Фенвей-парк[30], чтобы поговорить со звездой Red Sox – игроком второй базы[31] Дастином Педройя. Он был одним из моих самых любимых бейсболистов еще с 2006 г., когда PECOTA (система прогнозирования, разработанная мной для организации Baseball Prospectus) предсказала, что он станет одним из лучших игроков в бейсбол. Предсказание PECOTA противоречило мнению многих скаутов, считавших Педройю «недостаточно развитым физически»{191}, критиковавших его за неправильную осанку и слишком широкий замах битой и приходивших к выводу, что он будет довольно посредственным игроком. Если PECOTA оценивала в 2006 г. Педройю как четвертого в списке потенциальных звезд бейсбола{192}, то издание Baseball America, традиционно уделяющее большое внимание точке зрения скаутов, поместило его на 77‑е место. И подобное отношение к этому игроку было распространено достаточно широко{193}. Взять хотя бы отчет Кита Лоу из ESPN[32]{194}, составленный в самом начале карьеры Педройи:

Дастин Педройя не обладает ни силой, ни той скоростью удара, которые позволили бы ему оказаться в основной лиге, и ему недостает мощности. Если его показатель результативности (хит[33]) будет на уровне 0,260, то он сможет оказаться полезным, и, возможно, у него появится какое-то будущее в роли запасного игрока на внутреннем поле – если только он перестанет постоянно перебегать на третью базу и ловить там мячи.

Лоу опубликовал этот комментарий 12 мая 2007 г. На тот момент показатель результативности Педройи составлял 0,247, и на его счету был лишь один хоумран[34]{195}. По правде говоря, я тоже начал утрачивать веру; внимательно понаблюдав за тем, как Педройя «выходит к бите», я начал думать, что он слишком переоценен[35].

Однако, будто пытаясь доказать неправоту тех, кто в нем сомневался, Педройя начал творить чудеса. В течение следующих 15 игр он достиг невероятного показателя – 0,472, в результате его среднее значение, снизившееся до 0,158 в апреле, поднялось до 0,336.

В июле, через два месяца после отчета Лоу, Педройя вошел в состав «Звездной команды» Американской лиги. В октябре он помог Red Sox стать победителями ежегодного чемпионата – World Series[36] – во второй раз с 1918 г. В ноябре того же года он был назван «Новичком года». А в следующем сезоне 24-летний Педройя получил награду «Самый ценный игрок» как лучший в Американской лиге. Теперь он уже был не запасным игроком, а суперзвездой. Скауты серьезно его недооценили.

Я отправился в Фенвей, поскольку хотел понять, что же заставило Педройю так измениться. Я подготовил целый список вопросов, а Red Sox выдала мне пресс-карту и обеспечила доступ на поле. Я знал, что это будет непросто. Игровое поле основной лиги – это настоящее святилище для игроков и уж точно не лучшее место для проведения интервью. Игроки Red Sox после неудачных игр были напряженными и раздраженными.