Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

Рис. 3.3. Достижения кандидатов из списков 100 лучших потенциальных игроков, составленных в 2006 г. системой PECOTA и Baseball America, к 2011 г.

Предубеждения скаутов и статистиков

Конечно, было бы здорово, если бы список PECOTA оказался более точным, чем тот, что был составлен на основе мнений скаутов, но я не ожидал, что так может произойти. Через некоторое время после их публикации я написал{220}:

«Несмотря на то что мне было бы интересно взглянуть на противостояние скаутов и статистиков под новым углом, я не жду, что ранжирование, выполненное системой PECOTA, будет столь же точным, как рейтинги… создаваемые Baseball America».

Исходным «сырьем» для любой системы ранжирования служит информация – а если у вас была возможность изучить и скаутинговую, и статистическую информацию, значит, вы получили больше такого «сырья». Единственная возможность для чисто статистического подхода переиграть смешанный заключается в том, что вызываемые смешанным подходом предубеждения порой оказываются настолько сильными, что перевешивают преимущества.

Иными словами, скауты используют смешанный подход. Они имеют доступ к широкой информации, не ограничивающейся статистикой. И скауты, и PECOTA могут без проблем изучать личные достижения, или ERA[54] игрока; не имеющая предубеждений система типа PECOTA может немного лучше отсеивать какую-то часть шумов из этих данных и выдавать их в более правильном контексте. Однако скауты имеют доступ к огромным массивам информации, о которой PECOTA не имеет ни малейшего представления. Допустим, вместо того чтобы гадать о том, насколько велика сила броска питчера, они могут просто достать лазерный радар и замерить скорость мяча или же использовать секундомер, чтобы оценить, насколько быстро он перебегает с базы на базу.

Этот тип информации позволяет нам сделать еще один шаг в сторону глубинных причин того, что мы пытаемся предсказать. В низших лигах питчеры даже со слабой силой броска могут нащупать успешную зону; большинство противостоящих ему подающих довольно неумелы, поэтому он вполне может их переиграть. В высших лигах, где отбивающие способны парировать мяч, летящий со скоростью до 120 км/ч, шансы таких питчеров невелики. PECOTA может быть дезинформирована подобными данными, но это никогда не произойдет с умелым скаутом. И наоборот, скаут может выявлять игроков, обладающих талантом на уровне высшей лиги, для развития которых может потребоваться время.

Нужно, впрочем, отметить, что каждый раз, когда в процесс вовлекается человеческое суждение, возникает и потенциал для предубеждения. Как мы видели в главе 2, увеличение объема информации способно лишь ухудшить ситуацию для тех, кто неправильно относится к прогнозам и пытается навязать свою точку зрения на то, как устроен мир, вместо того чтобы попытаться познать истину.

Возможно, в эре, предшествовавшей «Moneyball», эти предубеждения играли на руку скаутам. Они могли уделять больше внимания эстетике игры, чем таланту игрока. Если свежие списки Baseball America можно считать очень хорошими, то списки начала 1990-х{221} были переполнены огромным количеством несбывшихся прогнозов – достаточно вспомнить таких превозносившихся игроков, как Тодд Ван Поппел, Рубен Ривера и Браен Тейлор, которым так и не удалось добиться серьезных результатов.

Однако свои предубеждения могут иметься и у статистиков. Одним из самых пагубных может считаться предположение о том, что все, что не поддается количественной оценке, не имеет большого значения. Например, в бейсболе измерять результативность защиты всегда было намного сложнее, чем эффективность броска или отбития мяча. В середине 1990‑х команда Oakland A’s не обращала особого внимания на защиту, и ее деятельность во внешнем поле направлялась довольно медлительными и неуклюжими игроками типа Матта Стрейерса, который, однако, мог считаться прирожденным подающим. По мере улучшения анализа действий защиты стало очевидным, что плохая защита команды стоила ей от восьми до десяти побед за сезон{222}. Это не позволяло им занимать достойные позиции в чемпионате вне зависимости от статистики удачных ударов по мячу. Бин уловил суть проблемы, и его новые и успешные команды имеют сравнительно хорошую защиту.

Подобные слепые места могут привести к еще бо́льшим проблемам, когда речь заходит о прогнозировании результатов игроков низшей лиги. Когда мы говорим об игроке высшей лиги, главный вопрос состоит в том, сможет ли он показывать такие же хорошие результаты, как в прошлом. Самые толковые системы статистического прогнозирования могут выявить восходящий или нисходящий тренд величиной всего в несколько процентных пунктов{223}. Однако если вы просто предположите, что игрок покажет примерно те же результаты, что и в два предшествовавших сезона, то несильно ошибетесь.

Однако бейсбол уникальным образом отличается от других основных профессиональных видов спорта – у него невероятно разветвленная система команд низшей лиги. Если у Национальной футбольной лиги официально вообще нет низшей лиги, а в состав низшей лиги NBA[55] входят всего несколько команд, то в бейсболе их 240 – по восемь для каждой родительской команды из высшей лиги. Кроме этого, если баскетболисты или футболисты могут стать видными профессионалами сразу же после колледжа или даже старших классов школы, то в бейсболе подобный мгновенный рост проявляется крайне редко. Даже самые талантливые игроки чаще всего играют в течение какого-то времени в Billings, Bakersfield или Binghamton перед тем, как перейти в команды основных лиг.

Довольно сложно предсказывать результаты этих игроков, поскольку мы надеемся, что они со временем смогут сделать что-то, на что пока не способны, – показывать хорошие результаты, играя в высших лигах. Можно легко представить себе, что уникальный по своему потенциалу игрок типа Брюса Харпера, лучшего подающего в стране, играющего в школьной лиге, попросту не выжил бы в противостоянии с питчером высшей лиги. Для игры на новом уровне ему нужно подрасти, стать сильнее, умнее и дисциплинированнее – а все это требует определенной комбинации упорного труда и удачи. Представьте себе, что вы заходите в обычный школьный класс, несколько дней наблюдаете за учащимися, а потом вас просят предсказать, кто из них станет успешным врачом, юристом и предпринимателем, а кто будет вынужден всю жизнь сводить концы с концами. Думаю, что вы изучили бы их оценки и посмотрели на то, у кого из них больше друзей, но в целом любые ваши выводы будут высосаны из пальца.

Тем не менее от многих скаутов-любителей (и любой статистической системы, имитирующей их действия) ожидается именно это. Хотя некоторые бейсболисты приходят в команды после колледжей, кое-кто попадает в них и во время учебы в школе, а процесс скаутинга начинается, когда те еще находятся в подростковом возрасте. Как и в любой другой группе молодых людей, в них будут играть гормоны и юношеский задор. Тела их продолжают расти и развиваться, а сами они постоянно подвергаются искушениям, связанным с выпивкой и влечением к противоположному полу. Только представьте себе, что вам нужно доверить весь свой бизнес кучке 19-летних парней.

Не только «Пять инструментов»[56]

Как писал Льюис в книге «Moneyball», Билли Бин был одним из тех игроков, кто имел потрясающий талант, но не смог этого понять; впервые попав в серьезную команду в 1980 г., он сыграл в высшей лиге всего 148 игр, а его средний результат за карьеру составил 0,219. Тем не менее Бин все равно попал в Зал славы, в отличие от других потенциальных кандидатов – типа Джона Сандерса, работающего в настоящее время скаутом для Los Angeles Dodgers.

Сандерсу удалось сыграть в серьезном матче, но лишь однажды, как это произошло и с Мунлайтом Грэмом, героем фильма «Поле его мечты» («Field of Dreams»). 13 апреля 1965 г., когда Сандерсу было 19 лет, команда Kansas City Athletics использовала его в качестве пинчраннера[57] в седьмом иннинге[58] игры против Detroit Tigers. Сандерсу не удалось сделать ничего особенного – последние два подающих внезапно покинули поле, и его заменили перед началом следующего иннинга{224}. Больше ему так и не довелось сыграть в высшей лиге.

Сандерс был достаточно талантлив. В годы учебы в школе в Небраске он входил в состав «звездной» команды по американскому футболу (1963), команды штата по баскетболу (1964), а также стал золотым призером в соревнованиях штата по метанию диска{225}. Возможно, что бейсбол даже не был его любимым видом спорта. Однако ему удавалось играть достаточно хорошо, и после выпуска из школы летом 1964 г. он получил, кроме диплома, и профессиональный контракт с командой A’s.

Однако дальнейшему развитию Сандерса помешало правило «Bonus Baby». До появления в 1965 г. новых правил формирования команд высшей лиги все игроки-любители были свободными спортсменами, и команды могли платить им любую сумму, которую бы только захотели.