Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

• Название: Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет
• Автор: Нейт Сильвер
• Жанр: Публицистика
• Год: 2015
• ISBN: 978-5-389-09938-8

Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.

О том, как этому научиться, рассказывает Нейт Сильвер, политический визионер и гуру статистики, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов-практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера «Думай медленно… Решай быстро», наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.

---

В наши дни мы принимаем как данность то, что можем прогнозировать местность, на которую через несколько дней обрушится ураган, однако метеорология довольно поздно развилась в успешную науку. На протяжении столетий в этой области почти не было никакого прогресса. Вавилоняне, знаменитые астрономы, создавали прообразы прогнозов и фиксировали их на каменных табличках уже более 6000 лет назад{247}. Однако в конечном итоге они сдавались на волю бога дождей Нингирса. Аристотель написал трактат о метеорологии{248} и даже выдвинул несколько интересных догадок, однако в целом эта часть его деятельности была довольно слабой. Лишь в последние 50 лет, когда существенно выросла мощность вычислительных машин, появилась возможность для реального прогресса.

О метеорологической сводке не стоит думать как о метафизическом упражнении, однако сама идея предсказания погоды заставляет нас задуматься о старых спорах на тему предначертания и свободной воли. «Написано ли все до нас или мы сами пишем свою историю? – спросил Лофт. – Это была основная проблема для человеческих существ. И в реальности существовало две школы мыслителей. Одна из них была связана со св. Августином и кальвинизмом», – продолжил он, имея в виду людей, веривших в предначертание. Согласно этой философии, люди способны предсказывать предстоящие события, однако они не могут ничего сделать для того, чтобы их изменить. Все происходит в соответствии с божьим планом. «Это направление противоречит идеям иезуитов и Фомы Аквинского о том, что у нас имеется свобода воли. И вопрос состоит, в конечном итоге, в том, считаем ли мы мир предсказуемым или непредсказуемым».

Дискуссии о предсказуемости в том или ином виде обрели новую жизнь во времена Возрождения и промышленной революции. Из механики Исаака Ньютона, казалось бы, следовало, что во Вселенной, упорядоченной и предсказуемой, все подчиняется сравнительно простым физическим законам. Идеи научного, технического и экономического прогресса, которые в предыдущие столетия никто не мог принять как данность, обрели жизнь. Многие стали верить, что человечество способно научиться управлять собственной судьбой. Предначертание сменилось новой идеей – идеей научного детерминизма.

Эта идея приобретала множество форм, но мало кто способствовал ее развитию так же сильно, как французский астроном и математик Пьер-Симон Лаплас. В 1814 г. Лаплас выдвинул постулат, впоследствии ставший известным под названием «Демон Лапласа»:

Мы можем рассматривать настоящее состояние Вселенной как следствие его прошлого и причину его будущего. Интеллект, который был бы способен в каждый определенный момент времени познать все силы, приводящие природу в движение, и положение всех элементов, из которых она состоит, и если бы этот интеллект был бы достаточно сильным, чтобы проанализировать все эти данные, он смог бы объять единым законом и движения величайших тел во Вселенной, и движения крошечных атомов; для этого интеллекта ничто больше не казалось бы неопределенным, а будущее, как и прошлое, оказывалось бы прямо перед его глазами, подобно настоящему{249}.

Учитывая, что в настоящее время мы прекрасно информированы обо всех условиях («положение всех элементов, из которых состоит природа») и хорошо знаем законы, управляющие Вселенной («все силы, приводящие природу в движение»), у нас появляется возможность делать идеальные предсказания («будущее, как и прошлое, оказывается прямо перед нашими глазами, подобно настоящему»). Движение каждой частицы во Вселенной может казаться нам столь же предсказуемым, как движение шаров на бильярдном столе. Возможно, полагал Лаплас, подобная задача окажется людям не под силу. Однако если бы мы были достаточно умны (и если бы имели необходимое количество мощных компьютеров), то мы могли бы предсказывать погоду и многие другие события – и обнаружить в конце концов, что природа совершенна.

Идея Демона Лапласа казалась противоречивой на протяжении всего своего двухсотлетнего существования.

Против точки зрения детерминистов выступали сторонники вероятностного подхода, верившие, что условия Вселенной познаваемы лишь с некоей долей неопределенности[65]. Подобный пробабилизм представлял собой поначалу исключительно эпистемологическую парадигму – согласно ей существуют ограничения на взаимодействия человека и природы. Совсем недавно, благодаря открытиям в области квантовой механики, ученые и философы задались вопросом, а не ведет ли себя сама Вселенная вероятностным образом.

При ближайшем рассмотрении частицы, которые стремился выявить Лаплас, начинают вести себя подобно волнам: возникает впечатление, что они не занимают никакого постоянного положения. Как можно предсказать, в каком направлении будет двигаться объект, если вы даже не знаете, где именно он находится? Разумеется, это невозможно. И именно эта мысль и заложена в основу знаменитого принципа неопределенности, разработанного физиком-теоретиком Вернером Гейзенбергом{250}. Физики трактуют принцип неопределенности по-разному, однако он, по сути, утверждает, что постулат Лапласа не может быть верен в буквальном смысле. Идеальные предсказания невозможны, если природа сама по себе развивается случайным образом.

К счастью, для изучения погоды нам не нужна квантовая механика. Погодные изменения происходят на молекулярном (а не атомном) уровне, и сами молекулы слишком велики для того, чтобы на них оказывала какое-то значимое влияние квантовая физика. Более того, мы уже довольно давно поняли, что изменения погоды вполне подчиняются законам химии и ньютоновской физики.

А что касается обновленной версии Демона Лапласа, то можно сказать следующее. Если мы знаем положение каждой молекулы в земной атмосфере (такое утверждение куда более скромное, чем стремление к знанию местоположения каждого атома во Вселенной), то можем ли мы создавать идеальные прогнозы погоды? Или же в погоде тоже изначально заложен некий элемент случайности?

Матрица

Мы уже давно умеем делать прогнозы погоды на основе чисто статистических наблюдений. Насколько велика вероятность того, что завтра пойдет дождь, с учетом того, что он шел сегодня? Метеоролог мог бы изучить все такие случаи, связанные с дождями, собранные в его базе данных, и дать ответ на этот вопрос. Или же он мог бы изучить долгосрочные средние значения и сказать нам о том, что в марте в Лондоне дождь идет примерно 35 % времени{251}.

Проблема состоит в том, что предсказания такого рода не особенно полезны – они недостаточно точны для того, чтобы порекомендовать вам взять с собой с утра зонтик, не говоря уже о прогнозировании движения урагана. Поэтому метеорологи пошли по иному пути. Вместо статистической модели они хотели создать живую и дышащую модель, имитирующую физические процессы, которые управляют погодой.

Однако наша способность делать прогнозы погоды на основе расчетов куда слабее, чем наше теоретическое понимание. Мы знаем, какие уравнения надо решить, и примерно представляем себе верные ответы, однако нам недостаточно быстродействия для того, чтобы произвести расчеты для каждой молекулы в земной атмосфере. Вместо этого нам приходится заниматься аппроксимацией.

Самый интуитивно понятный метод для этого случая – упрощение проблемы за счет разбиения атмосферы на конечное количество наборов пикселей – метеорологи часто называют такую систему матрицей, решеткой или сеткой. По данным Лофта, первые заслуживающие внимания попытки работы в этом направлении были сделаны в 1916 г. Льюисом Фраем Ричардсоном, знаменитым британским физиком. Ричардсон хотел определить погоду над Северной Германией в определенное время – в 13 ч 20 мая 1910 г. Строго говоря, это нельзя назвать предсказанием, поскольку этот день уже прошел. Однако в распоряжении Ричардсона имелось много данных – о температуре, атмосферном давлении и скорости ветра, – собранных германским правительством. И у него было достаточно времени, поскольку он служил медиком-добровольцем и оставался без дел в перерывах между артиллерийскими канонадами. Поэтому Ричардсон разбил территорию Германии на ряд двумерных секторов размерами по три градуса широты (около 340 км) на три градуса долготы (рис. 4.1). Затем он приступил к работе, пытаясь решить химические уравнения, определявшие погоду в каждом секторе, и то, каким образом они влияют на погоду в соседних.

К сожалению, эксперимент Ричардсона бесславное провалился{252} – он «предсказал» серьезный рост атмосферного давления, в реальности же в тот день это не наблюдалось. Однако Ричардсон тем не менее опубликовал свои результаты. Этот метод определенно казался правильным методом предсказания погоды – Ричардсон считал, что следует не полагаться на грубые статистические приближения, а выявить некие основные принципы и воспользоваться глубоким теоретическим пониманием поведения системы.