Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

Но, хотя Тэтлок и обнаружил, что самые плохие предсказания исходили от «ежей» с правого и левого флангов, он также заметил, что «лисы» из разных политических групп были менее подвержены подобным проявлениям{166}. «Лисы» могут иметь свои идеальные представления о том, каким должен быть мир. Однако они в большей степени способны при анализе отделить свои представления о том, как мир может выглядеть в ближайшем будущем, от того, как выглядит мир в реальности.

Напротив, «ежам» сложнее отстраниться от своих глубинных интересов при проведении анализа. По словам Тэтлока, вместо этого они создают «расплывчатую смесь из сваленных в одну кучу фактов и значений параметров». Они с большим предубеждением относятся к свидетельствам, обращая внимание лишь на то, что хотят увидеть, а не то, что есть в реальности.

Вы можете использовать тест Тэтлока для диагностики того, относитесь ли вы к «ежам». Иными словами, улучшаются ли ваши прогнозы, если у вас появляется доступ к большей информации? Теоретически дополнительная информация должна служить попутным ветром, когда вы делаете предсказания, – вы можете всегда игнорировать информацию, если она кажется вам не особенно полезной. Однако «ежи» часто загоняют себя в угол собственными действиями.

Рассмотрим, что показали результаты опроса группы политических инсайдеров, проведенного журналом National Journal, в котором выяснялось мнение примерно 180 политиков, политических консультантов, социологов и других ученых. Опрос проводился отдельно для представителей демократической и республиканской партий, однако обеим группам задавались одни и те же вопросы. Можно сказать, что участники этой группы, вне зависимости от политических пристрастий, – подлинные «ежи». Политические деятели гордятся своими боевыми шрамами и видят себя участниками вечной битвы с оппонентами на коктейльной вечеринке.

За несколько дней до промежуточных выборов 2010 г. National Journal спросил участников группы о том, удастся ли демократам сохранить контроль и над Конгрессом, и над Сенатом{167}. По обоим вопросам имелось почти стопроцентное согласие – демократы могли сохранить Сенат, однако республиканцам было вполне по силам взять контроль над Конгрессом (участники опроса оказались правы в обоих предположениях). Как демократические, так и республиканские инсайдеры пришли к почти полному согласию в вопросе о том, сколько дополнительных мест получат республиканцы в Конгрессе; эксперты демократов говорили о 47, а республиканцы предсказывали 53. Разницу можно считать относительно незначительной с учетом того, что в Конгрессе 435 мест.

Однако кроме этого National Journal попросил участников опроса предсказать исход одиннадцати отдельных событий: выборов в Сенат, Конгресс и на пост губернатора. И здесь выявились куда более значительные различия. Мнения разделились по вопросам результатов выборов в Сенат в Неваде, Иллинойсе и Пенсильвании, выборов губернатора во Флориде и крайне важных выборов в Конгресс в Айове. В целом участники опроса – республиканцы – ожидали, что демократы выиграют в 1 из 11 гонок, а демократы – что выиграют в 6 из 11 (реальный исход достаточно предсказуемым образом оказался посередине – демократы выиграли 3 из 11 кампаний, о которых спрашивал National Journal){168}.

Очевидно, что свою роль здесь сыграла партийная принадлежность: демократы и республиканцы поддерживали своих. Однако только этого недостаточно, чтобы объяснить необычные расхождения в том, как участники опроса отвечали на различные типы вопросов. Когда их, к примеру, спрашивали о шансах республиканцев в общем, то между полученными ответами почти не было различий. Однако они проявлялись, когда задавались вопросы о конкретных выборах – и такие вопросы заставляли партийные различия выплыть на поверхность{169}.

Чрезмерный объем информации в руках «ежа» может оказаться для него злом. Вопрос о том, как много мест могли бы отобрать республиканцы у демократов, выглядит общим (пока вы не принимаетесь изучать детали всех 435 выборных кампаний). Напротив, когда участников опроса спрашивали о конкретной кампании, например о выборах в Сенат в Неваде, то оказывалось, что они располагают разной информацией о ней (и результаты опросов, и новости о ходе кампании, и слухи, и собственные мысли о кандидатах). Иногда они даже знали лично или самих кандидатов, или людей, работавших на них.

«Ежи», имеющие в своем распоряжении много информации, начинают выстраивать сюжеты более приглаженные и идеальные, чем реальный мир. В придуманных ими историях имеются союзники и враги, победители и проигравшие, победы и поражения в жестоких битвах – и обычно хеппи-энд для команды, к которой принадлежит «еж». Черт побери, наш кандидат, отстающий от своего соперника на 10 %, все равно выиграет, поскольку я знаю и его, и избирателей в его штате. А еще я слышал, как пресс-секретарь кандидата говорил о том, что разрыв сокращается, и видел его новый прекрасный рекламный ролик…

Создавая такие сюжеты, мы можем утратить способность к критическому осмыслению имеющихся фактов. Обычно выборы представляют собой конкуренцию различных повествований. Что бы вы ни думали в 2008 г. о Бараке Обаме, Саре Пейлин, Джоне Маккейне или Хиллари Клинтон, у каждого из них имелась убедительная история жизни – повествования о ходе кампании (типа «Game Change») читаются как отлично написанные бестселлеры. Кандидаты кампании 2012 г. были менее привлекательными, однако все равно смогли представить аудитории обычный ансамбль драматических клише от трагедии (Герман Кейн?) до фарса (Рик Перри).

Порой в таких повествованиях можно запутаться. Политика может быть особенно уязвимой к плохим предсказаниям из-за присущих ей человеческих элементов: наличие качественного выбора заставляет нас включать сильные чувства. Это не значит, что хорошее предсказание политического события требует от вас полной бесстрастности. Но это не значит и то, что отстраненный подход «лис» всегда будет приносить свои дивиденды.

«Лисий» подход к прогнозированию

Идея FiveThirtyEight[24] возникла у меня в зале ожидания международного аэропорта имени Луи Армстронга в Новом Орлеане в феврале 2008 г., где я ждал объявления на посадку на задержанный рейс. По какой-то причине, возможно, свою роль в этом сыграла порция мартини, мне вдруг показалось очевидным, что кто-то должен создать сайт, на котором оценивались бы шансы Хиллари Клинтон и Барака Обамы (жестко конкурировавших на тот момент в борьбе за пост кандидата от демократической партии) против Джона Маккейна.

При этом мой интерес к электоральной политике возник несколько раньше – и был скорее результатом разочарования, а не привязанности к политическому процессу. В 2006 г. я тщательно наблюдал за попыткой Конгресса запретить интернет-покер (бывший на тот момент одним из основных источников моего дохода). Я нашел анализ политических событий даже более интересным, чем анализ спорта (качество которого значительно улучшилось благодаря так называемой «Революции Moneyball»).

Во время подготовки к предварительным выборам я обнаружил, что все чаще и чаще смотрю политические телевизионные программы, в основном на каналах MSNBC, CNN и Fox News. Как правило, освещение событий было довольно скучным и бессодержательным. Несмотря на то что выборы должны были состояться через несколько месяцев, многие комментаторы говорили о неизбежности победы Клинтон и игнорировали неопределенность, присущую подобным ранним этапам выборной кампании. Слишком много внимания уделялось полу Клинтон и расе Обамы{170}. Некоторые комментаторы пытались навязчиво определить, удалось ли тому или иному кандидату «выиграть день», произнеся успешную фразу на пресс-конференции или переманив на свою сторону одного из не особо известных сенаторов (притом что это не волновало 99 % избирателей).

Политические новости, и особенно важные и действительно влияющие на кампанию, появляются нерегулярно. Однако новости создаются каждый день. Зачастую это всего лишь «наполнитель», упакованный в форме историй, призванных скрыть незначительность информации[25]. Часто это приводит не только к утрате сигнала, но и к усилению шума. Если в каком-то штате проводится некое количество опросов, показывающих верховенство республиканцев, то нет ничего интересного в том, что вы скажете то же самое, что говорят все остальные. Если же результаты вашего опроса покажут, что верх начинают брать демократы, вам обеспечено место в заголовках новостей – несмотря на то что ваш опрос представляет собой всего лишь информационный выброс и не может предсказать исход с должной степенью точности.

Иными словами, планка, установленная в конкурентной борьбе, казалась достаточно низкой. Любой человек мог произвести впечатление гения, занявшись самыми простыми базовыми исследованиями того, что действительно обладает предсказуемостной способностью в политической кампании. Поэтому я начал вести блог на сайте Daily Kos, рассказывая о детальном и управляемом данными анализе таких вопросов, как опросы или данные по сбору средств кандидатами. Я выяснил, какие опросы показывали в прошлом самые точные результаты и насколько победа в одном штате – к примеру, Айове – могла привести к изменению расстановки сил в другом. Мои статьи быстро стали популярными, хотя чаще всего комментарии читателей сайтов, подобных Daily Kos, носят качественный (и довольно предвзятый) характер. В марте 2008 г. я начал выставлять аналитические данные на собственном сайте (FiveThirtyEight), где размещались прогнозы, касающиеся различных выборных кампаний.