Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

В другом углу располагались «ботаники» – ребята в возрасте 20–30 лет, вооруженные ноутбуками и цветными распечатками. Они ходили кругами по холлу и пытались уговорить кого-нибудь из профессионалов старой школы взять их на работу. Между двумя лагерями практически не происходило никакого общения, и каждая сторона считала другую слишком высокомерной и косной.

Возможно, подлинный источник конфликта состоял в том, что представители старой школы воспринимали молодежь как угрозу своей работе, способную лишить скаутов значительной доли заработка. «Сейчас существует невероятно сильная конкуренция, – рассказывал Эдди Бейн, директор по скаутингу команды Anaheim Angels на круглом столе в рамках одной конференции, посвященной “Moneyball”{208}. – Некоторые из наших старых коллег теряют работу, которую, по нашему мнению, они должны были сохранить. Возможно, что сокращение штатов вызвано денежными проблемами. Однако мы связываем происходящее с влиянием разных компьютерных штук, и это нас возмущает».

До конца неизвестно, как много команд в реальности урезало бюджеты на скаутинг. Одной из них была Toronto Blue Jays, и она заплатила за это высокую цену, перенеся череду неудач в 2002–2005 гг. Однако уреза́ние бюджета было вынужденной мерой, вызванной спецификой работы корпоративного спонсора команды, компании Rogers Communications. Та пыталась противостоять ослаблению канадского доллара, поэтому случившееся отнюдь не было прихотью генерального менеджера компании, ученика Бина по имени Дж. П. Риккарди.

После публикации «Moneyball» прошло десять лет, и пламя прежней борьбы давно потухло. Успех Red Sox, выигравшей в 2004 г. титул чемпиона ежегодного чемпионата США по бейсболу впервые за 68 лет, был основан на подходе, уделявшем внимание как статистике, так и скаутингу. Команды, которые в 2003 г. можно было назвать исключительно «скаутинговыми» (например, команда St. Louis Cardinals), приняли на вооружение более аналитический подход и являются сейчас одними из лидеров в области спортивных инноваций. Команды со «статистическим» уклоном, такие как Oakland A’s, значительно увеличили свои скаутинговые бюджеты{209}.

Экономическая рецессия, продолжавшаяся с 2007 по 2009 г., способствовала дальнейшему развитию аналитических методов. Хотя бейсбол довольно хорошо перенес рецессию, внезапно буквально все прониклись идеями «Moneyball» и начали пытаться оптимизировать свои возможности в условиях ограниченных бюджетов{210}. На рынке не было дефицита в дешевой рабочей силе среди статистиков. Выпускники Гарварда и Йеля, специализировавшиеся на экономике и вычислительной технике, которые незадолго до этого времени планировали работать в инвестиционном банке и получать по 400 тыс. долл. в год, теперь с радостью отправлялись в Тампу или Кливленд и круглосуточно работали за десятую часть от этой суммы. Зарплата «компьютерного ботаника» в 40 тыс. долл. казалась куда лучшей инвестицией, чем 40 млн долл., выплачиваемых свободному агенту[46], прежние выдающиеся результаты которого постепенно снижались до средних.

Однако случившееся не было свидетельством безоговорочной победы статистиков. Если им и удалось доказать свою ценность, то это же удалось и скаутам.

PECOTA против скаутов – победа остается за скаутами

Изначально название PECOTA представляло собой аббревиатуру, расшифровывавшуюся как Эмпирическое сравнение питчеров и тестовый алгоритм оптимизации (Pitcher Empirical Comparison and Optimization Test Algorithm). Кроме того, эта аббревиатура повторяла имя Билла Пекоты, довольно среднего игрока внутреннего поля[47] команды Kansas City Royals, игравшего в 1980‑х гг. и доставившего немало неприятностей моей любимой команде Detroit Tigers[48].

Поначалу программа должна была оценивать результативность питчеров, а не подающих. Предсказать этот параметр невероятно сложно, поэтому после пары лет экспериментов с системой под названием WFG Baseball Prospectus оставил попытки и начал публиковать пустые поля для своих прогнозов по этой группе игроков. Я почуял возможность и показал PECOTA Хакебею. К моему удивлению, система понравилась и ему, и сотрудникам Baseball Prospectus; они предложили мне выкупить PECOTA в обмен на долю в Baseball Prospectus и при условии, что я создам аналогичную систему для бьющих (хитеров){211}. Я это сделал, и зимой 2003 г. в Baseball Prospectus был опубликован первый ряд прогнозов PECOTA.

По окончании сезона 2003 г. мы обнаружили, что PECOTA сработала немного лучше, чем другие коммерческие системы прогнозирования{212}. Фактически ежегодно с 2003 по 2008 г. наша система была не хуже конкурентов. Это демонстрировалось по итогам тестов – как наших, так и сторонних{213}. При этом нам удавалось показывать более четкие результаты, чем те, что использовались букмекерами в Вегасе{214}. Несколько успешных прогнозов помогли существенно укрепить репутацию системы. Например, в 2007 г. PECOTA предсказала, что Chicago White Sox – всего за два года до выигрыша титула в чемпионате – обеспечит себе по итогам сезона лишь 72 победы. Этот прогноз чикагских СМИ и руководство White Sox пытались опротестовать{215}. Однако он оказался правдивым – сезон для White Sox завершился именно так: 72 победы против 90 поражений.

Но уже к 2009 г. другие системы начали догонять, а то и опережать прогнозы PECOTA. Подобно тому как я заимствовал некоторые элементы системы у Джеймса и Хакебея, другие исследователи заимствовали ряд инноваций у PECOTA и добавляли к ним какие-то свои идеи. Некоторые из этих систем оказались очень хорошими. Если вы попытаетесь проранжировать лучшие прогнозы года по тому, насколько хорошо они предсказывали результаты игроков основной лиги, то разница между результатами лучших систем не будет превышать долей процента{216}.

Меня давно интересовала и еще одна цель, с которой можно использовать PECOTA, – прогнозирование результатов игроков низшей лиги, таких как Педройя. Это значительно сложнее. А поскольку в то время очень мало систем разрабатывалось с подобной целью, единственным реальным конкурентом были скауты.

В 2006 г. я впервые опубликовал список 100 лучших потенциальных игроков, по версии PECOTA, а также сравнил его со списком, созданным на основе работы скаутов и опубликованным в это же время в Baseball America. Игроки в списке PECOTA были проранжированы по величине возможного вклада в результат в течение следующих шести сезонов после вхождения в состав команд высшей лиги{217}.

Сезон 2011 г. стал шестым годом после публикации прогнозов, поэтому я мог провести корректное сравнение прогнозов и реальности. Хотя игроки в этом списке были сравнительно молодыми, данные давали довольно четкое представление о том, удалось ли им стать звездами, либо же они просидели основную часть сезонов на скамейке запасных или вообще покинули мир большого спорта.

По данным моего списка, Педройя оказался на четвертом месте в списке потенциальных звезд. Это был не единственный успешный прогноз PECOTA. Система дала высокую оценку Иену Кинслеру, который вообще отсутствовал в списке Baseball America; в реальности он вошел в состав двух команд «Всех звезд» и стал одним из ведущих нападавших команды Texas Rangers. PECOTA высоко оценила и Мэтта Кемпа, суперзвезду команды Dodgers, который в 2011 г. получил редкую награду – бейсбольную Тройную корону[49] (оценка, данная ему Baseball America, была значительно ниже моей).

Но доводилось ли вам слышать о Жоэле Гузмане? Дональде Мерфи? Йосемиро Пети? Возможно, нет, если только вы не подлинный фанатик бейсбола. PECOTA же посчитала этих игроков достаточно перспективными.

Свои упущения были и у Baseball America – скауты проявляли чрезмерный оптимизм в отношении Брэндона Вуда, Ластингса Милледжа и Марка Роджерса. Однако были и успешные прогнозы. Так, Baseball America отметила питчера Red Sox Йона Лестера, шорт-стопа[50] Rockies Троя Туловицки и аутфилдера[51] Baltimore Orioles Ника Маркакиса, все они имели довольно скромные статистические результаты в низшей лиге и вообще не были включены в список PECOTA.

Для статистического сравнения систем имеется достаточно большой объем данных. В частности, мы можем посмотреть на количество побед игроков в составе команд в каждом списке – например, на показательWARP[52]{218}. Этот показатель призван оценить, какой вклад вносит игрок любыми действиями: хитингом, питчингом и ловлей.

В течение 2011 г. игроки из списка PECOTA обеспечили 546 побед своим командам высшей лиги (рис. 3.3). Однако игроки из списка Baseball America показали еще более высокие результаты, обеспечив 630 побед. Хотя суждение скаутов иногда бывает искаженным, в данном случае оно оказалось полезным – их прогнозы оказались на 15 % лучше тех, что были сделаны на основе одной лишь статистики. Хотя такое различие может показаться не очень значительным, однако это не так. Бейсбольные команды готовы платить по 4 млн долл. за каждую удачную находку на рынке спортсменов-профессионалов, не связанных контрактом{219}. Таким образом, скауты обошли нас за этот период примерно на 336 млн долл.[53].