Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

Хотя системе Vladimir Хакебея и удалось сделать ряд правильных прогнозов, в целом она все же была ненамного более точной, чем медленные и устойчивые прогнозы Джеймса{204}, согласно которым одна и та же кривая старения применялась к каждому игроку. Отчасти проблема заключалась в том, что число 26 для количества категорий Хакебея было выбрано случайным образом, а для того, чтобы определить, к какой группе относится игрок, требовалось скорее искусство, а не наука.

Но, чтобы войти в число элитных игроков в бейсбол, человек должен обладать широким диапазоном физических и ментальных навыков: мышечной памятью, физической силой, координацией между глазами и руками, скоростью удара битой, распознаванием направления полета мяча и силой воли, позволяющей сохранять концентрацию даже в сложные для команды периоды. Понятие о существовании различных видов кривых старения, вытекающее из созданных системой Vladimir, казалось, более точно отражало всю сложность, присущую человеческой природе.

При разработке PECOTA я попытался заимствовать некоторые элементы у Хакебея, а некоторые – у Билла Джеймса. В выпуске Baseball Abstract за 1986 г. Джеймс представил так называемые оценки подобия, которые (как и предполагает их название) были призваны выявить статистическое подобие между статистикой карьеры любых двух игроков основной лиги. Концепция была сравнительно простой. Для начала каждому из двух игроков присваивалось по 1000 баллов, а затем при наличии между игроками различий по тому или иному параметру соответствующие баллы вычитались{205}. У игроков с высокой степенью подобия итоговый балл мог составлять 950 или даже 975, однако в других случаях расхождения накапливались достаточно быстро.

Оценки подобия могут оказаться невероятно полезными любому человеку с хорошим знанием истории бейсбола. Вместо того чтобы изучать статистику игрока в вакууме, специалисты могут оценить исторический контекст происходящего. Например, статистические результаты Педройи до достижения им возраста 25 лет были идентичны результатам Рода Кэрью, великого игрока из Панамы, возглавлявшего Minnesota Twins в 1970‑х, или результатам Чарли Герингера, звезде команды Tigers времен Великой депрессии. Оценки подобия Джеймса позволяют проводить ретроспективный анализ, предоставляя возможность оценивать прошлые события. Например, с его помощью можно проанализировать, насколько игрок заслуживает, чтобы его приняли в Зал славы.

Если вы считали, что ваш любимый игрок действительно заслуживает это, и могли увидеть, что это удалось 9 из 10 игрокам с идентичной статистикой, то у вас были все шансы верить в успех.

Но можно ли использовать оценки подобия и для предсказания? Например, если мы могли выявить сотню игроков, наиболее сопоставимых с Педройей по возрастным критериям, то в какой степени результаты этих игроков за всю карьеру могли подсказать нам, как будет развиваться карьера Педройи?

Меня заинтересовала эта идея, и так, понемногу, PECOTA начала свое существование в те долгие дни, которые я проводил в KPMG в 2002 г. Она приобрела форму гигантской и разноцветной электронной таблицы Excel. Этот выбор был довольно случайным, поскольку именно Excel был одним из моих основных рабочих инструментов в KPMG (каждый раз, когда мимо моего стола проходил кто-то из начальников, он предполагал, что я усердно тружусь над какой-то особенно сложной моделью для одного из наших клиентов{206}).

Постепенно, отнимая пару часов от работы и по нескольку часов от сна, я смог разработать базу данных, включавшую более чем 10 000 позиций «игрок – сезон» (я учел каждый сезон основной лиги, начиная со времен Второй мировой войны{207}). Кроме этого, я разработал алгоритм, позволяющий сравнивать любого игрока с другим. Алгоритм был чуть более сложным, чем алгоритм Джеймса, и предполагалось, что он сможет в полной мере воспользоваться изобилием данных, присущих бейсболу. В нем был заложен иной метод сравнения набора игроков, метод, называемый на техническом языке метод ближайшего соседа[44]. Также он учитывал более широкий набор факторов, включая рост и вес игрока, которые обычно принимаются во внимание лишь скаутами.

Как и система Хакебея, PECOTA предполагала, что различные типы игроков могут стареть по-разному. Однако я не стремился сопоставить игру каждого бейсболиста с одной из 26 кривых развития; более того, сопоставление происходило естественным образом с помощью поиска похожих игроков где-то далеко в статистической галактике бейсбола.

Если, допустим, обнаруживалось, что очень многие игроки, статистические параметры игры которых сопоставимы с данными Дастина Педройи, становились сильными игроками основной лиги, то это давало основания надеяться на успех и самого Педройи.

Однако чаще всего мне не удавалось найти однозначно сопоставимые результаты; пути игроков, имевших одинаковую статистику в определенные периоды их карьеры, могли значительно расходиться после этого. Я уже упоминал, что по оценкам подобия, созданным Джеймсом, Педройя был идентичен Чарли Гейгеру и Роду Кэрью, двум игрокам, имевшим долгую и яркую карьеру и попавшим в конце концов в Зал славы. Однако статистика Педройи за этот период была также идентична статистическим данным Хосе Видро, ничем не примечательного игрока второй базы команды Montreal Expos.

Еще сильнее различия могут проявляться у игроков низших лиг[45]. В 2009 г. среди игроков, которые выявила PECOTA для сопоставления с Джейсоном Хейвардом, 19-летним кандидатом на позицию в команде Atlanta Braves, можно было найти и участника Зала славы, и жертву убийства. Чиппер Джонс, один из близких по показателям к Хейварду игроков, был примером первого варианта. Это один из величайших игроков Atlanta Braves за все времена, он отыграл с клубом 17 сезонов, и его показатель результативности за всю карьеру в среднем составил 0,304. Он принес команде более 450 хоумранов. С другой стороны, система выдала мне имя Дернелла Стенсона, многообещающего молодого человека, чьи показатели были также идентичны цифрам Хейварда. В 2003 г. после одной из тренировочных игр в Аризоне неизвестные связали его, а потом застрелили, угнав при этом его внедорожник. Судя по всему, произошел случайный акт насилия.

Все сопоставимые с Хейвардом игроки были крупными, сильными спортсменами; они обладали множеством талантов, имели отличные задатки и демонстрировали развитие навыков при играх в небольших лигах. Однако судьба их сложилась совершенно по-разному. Инновационный характер PECOTA был призван признать этот факт: система выдавала диапазон возможных исходов для каждого игрока, основанный на прецедентах с сопоставимыми игроками. По сути, это были наилучший, наихудший и наиболее вероятный сценарий. Но нужно помнить, что каждый раз при попытках предсказать развитие человека нам придется сталкиваться с бесконечным диапазоном возможных исходов.

Пока что для Хейварда все складывалось ни шатко ни валко. После удачного для него 2009 г., когда он был назван «Игроком года в низшей лиге», Хейвард дебютировал в команде Braves в 2010 г. и обеспечил своей команде восемь хоумранов в первых 30 играх в основной лиге. После этого он вошел в состав «Звездной команды», превзойдя все ожидания. Однако сезон 2011 г. оказался для него более сложным, и его результат не превысил 0,227. Хорошая система статистического прогнозирования позволяет сохранять оптимизм даже после выступления Хейварда в сезоне 2011 г. – все его показатели были, по сути, теми же, если не считать результативности ударов по мячу, а этот показатель зависит от удачи значительно больше, чем другие.

Но может ли статистика сказать вам все, что вы хотите узнать об игроке? Десять лет назад эта тема была одной из самых обсуждаемых в мире бейсбола.

Можем ли мы все ужиться?

Довольно поверхностное, но распространенное мнение о книге «Moneyball» состоит в том, что это рассказ о конфликте между двумя конкурирующими группами – «статистиками» и «скаутами». Каждая из них полагалась при оценке результативности игроков на свою собственную парадигму (разумеется, статистики полагались на статистические методы, скауты – на «инструменты»).

В 2003 г., когда книга «Moneyball» была впервые опубликована, читатели Майкла Льюиса вполне могли оценить, насколько враждебными были отношения между двумя группами (нужно сказать, что и сама книга подливала масла в огонь). Когда я в том же году посетил ежегодное «Зимнее собрание» специалистов по бейсболу в гостинице Marriott в Новом Орлеане, мне показалось, что я вновь вернулся в школу. В одном углу можно было увидеть скаутов, которые, подобно буйволам в оазисе, цедили виски и обменивались историями о холодной войне, сгрудившись у стойки бара в гостинице. Часто они уходили в гостиничные номера и принимались за переговоры. Эти люди навсегда связали себя с миром бейсбола. Им было уже за 40, а то и за 50, многие из них были в прошлом спортсменами, которые внесли свой вклад в игру и теперь постепенно продвигались вверх в организационной иерархии.