Анатолий Фоменко - Методы статистического анализа исторических текстов (часть 1)

• Название: Методы статистического анализа исторических текстов (часть 1)
• Автор: Анатолий Фоменко
• Издательство: Наука
• Жанр: История
• Год: 1999
• ISBN: 5-02-013542-9

Книга посвящена новому направлению в современной прикладной статистике. Предлагаются эмпирико-статистические методы распознавания зависимых и независимых текстов, в том числе исторических, т. е. текстов повествовательного характера, например хроник, летописей Эти методы позволяют во многих случаях датировать древние тексты, описанные в них события и могут применяться для анализа текстов самой разной природы, в теории распознавания образов, при анализе генетических кодов, для уточнения дат древней хронологии. Представлен богатый научный материал — результаты статистической обработки хроник, древних астрономических сообщений, летописей. Книга стала уникальным явлением в мировой научной литературе по прикладной статистике.

Для специалистов в области математической статистики и распознавания образов, лингвистики, филологии, хронологии, истории, а также широкого круга читателей.

---

Методы статистического анализа исторических текстов (часть 1)

Геродот, рассказывая о строительстве пирамид, отмечает: «Сколько же денег пошло на железные орудия» [78, кн. 2, № 125].

Современный комментарий: «Во времена Хеопса, т. е. в первой половине III тысячелетия до н. э., египтяне пользовались только медными орудиями» [76, с. 34, коммент. 18].

Предисловие А.Н. Ширяева (К первому изданию книги «Методы статистического анализа нарративных текстов и приложения к хронологии» в 1990 году)

Сегодня методы прикладной статистики проникают в самые различные области знания, в том числе и в задачи изучения текстов различной природы. При этом под «текстом» могут пониматься последовательности сигналов того или иного типа, длинные коды, возникающие в генетике, графические изображения (которые можно закодировать и представить в виде «текста»), а также и реальные нарративные тексты (например, исторические хроники, первоисточники, документы и т. п.)

Одна из важных возникающих здесь задач состоит в распознавании зависимых текстов, т. е. «похожих» текстов, имеющих в некотором смысле общую природу, общее происхождение. Например, в задаче распознавания образов важно обнаружить среди большой совокупности «изображений» такое, которое максимально «близко» к заранее заданному: в задаче изучения длинных последовательностей сигналов важно уметь обнаруживать «однородные подпоследовательности» и места их стыковок. Сюда относится, в частности, и известная задача о разладке, решению которой в математической статистике, статистике случайных процессов уделяется большое внимание.

Применительно к проблемам изучения нарративных текстов задача распознавания зависимых и независимых текстов (например, хроник) звучит как задача поиска текстов, восходящих, например, к одному общему первоисточнику, оригиналу (такие тексты естественно назвать зависимыми), или, напротив, восходящих к существенно разным первоисточникам (такие тексты естественно назвать независимыми). Ясно, что задачи этого типа чрезвычайно сложны и поэтому следует приветствовать появление новых эмпирико-статистических методов распознавания, которые, в совокупности с классическими подходами могут быть полезны в конкретных исследованиях (например, источниковедческих).

Настоящая книга профессора чистой математики А.Т. Фоменко ориентирована, в основном, на разработку таких новых методов применительно к проблеме распознавания зависимых и независимых нарративных текстов и для их датировки (по отношению к текстам с заранее известной достоверной датировкой).

Автор книги предлагает новый подход к задаче распознавания зависимых и независимых нарративных (исторических) текстов на основе нескольких новых эмпирико-статистических моделей (закономерностей), обнаруженных им в результате обширных статистических экспериментов с различными количественными характеристиками конкретных текстов, хроник, первоисточников и т. п. Проверка этих моделей (статистических гипотез) на конкретном материале хроник подтвердила эффективность моделей и позволила предложить новые методы датировки текстов (а точнее, описываемых в этих текстах событий).

Предлагаемый А.Т. Фоменко подход нестандартен и требует от читателя известного внимания и трудолюбия, чтобы освоиться с новыми и возможно непривычными логическими построениями. В то же время основные идеи автора воспринимаются вполне естественно с точки зрения современной математической статистики и легко вписываются в систему мышления специалистов по прикладной статистике.

Полученные автором научные результаты интересны и, возможно, сегодня уже следует говорить о возникновении нового (и довольно неожиданного) научного направления в прикладной статистике, развитие которого представляет несомненный интерес. Все эти результаты опираются на огромный объем работы, выполненный автором совместно с коллективом его коллег-ученых, являющихся, в основном, специалистами-профессионалами в области математической статистики и приложений.

Так как книга посвящена проблемам, находящимся на стыке нескольких научных дисциплин, то неизбежно возникают проблемы установления контакта между специалистами разных специальностей. Многие понятия и термины, привычные в одном кругу ученых, нуждаются в специальном переводе на язык ученых другой специальности и ориентации. Об этом следует помнить читателям настоящей книги, как представителям естественно-научных специальностей, так и представителям гуманитарных наук. Впрочем, такие «трудности общения» типичны и успешно преодолеваются внутри любого смешанного коллектива ученых, работающего над решением прикладной научной проблемы. Можно надеяться, что многие будущие читатели книги как раз и составят такой коллектив, который успешно продолжит исследования, начатые в книге, написанной широко известным профессионалом-математиком.

Наряду с разработкой новых эмпирико-статистических методов датирования событий, книга содержит и приложения к проблеме современного научного обоснования хронологии событий прошлого. Здесь нужно четко разделить основной статистический результат, полученный в книге (а именно, слоистая структура глобальной «хронологической карты» и ее распадение в «сумму» четырех слоев), и его различные интерпретации и истолкования. Гипотезы и истолкования результатов находятся уже вне рамок точного математического знания, и поэтому, как отмечает автор, следует крайне осторожно формулировать выводы, относящиеся к возможному построению новой «статистической хронологии древности». Автор неоднократно настаивает на необходимости критического анализа и отделения точно установленных фактов от гипотез и интерпретаций этих фактов.

Предлагаемая А.Т. Фоменко концепция является новой, местами неожиданной и заслуживает самого пристального изучения.

Книга написана на высоком научном уровне, является уникальным явлением в международной научной литературе в области приложений методов математической статистики, она не оставит равнодушным ни одного читателя. Она дает также возможность читателю познакомиться с привлекательной личностью ее автора — математика и исследователя истории…

Хочется думать, что читатель, ознакомившийся с первыми страницами книги, прочитает ее с неослабевающим интересом до конца и, как минимум, познакомиться с интересной научной проблемой, а возможно и сам включится в дальнейшие исследования в этой новой и перспективной научной области.

А.Н. ШИРЯЕВ

Президент Международного Общества математической статистики и теории вероятностей им. Бернулли (в 1989–1991 годах)

Предисловие А.Т. Фоменко

Почему сегодня мы поднимаем вопрос о хронологии древности и предлагаем заново проанализировать ее при помощи новых эмпирико-статистических методов? Следует напомнить, что ранее, в XV–XVI веках хронология считалась разделом математики. Затем постепенно она перешла в ведение историков и сегодня рассматривается как область исторических знаний, в целом завершенная и нуждающаяся лишь в отдельных уточнениях, не затрагивающих всего здания хронологии в целом. Тем не менее, оказывается, что принятая сегодня хронология древности несет в себе глубокие противоречия. В связи с этим уместно попытаться при помощи современных статистических методов снять хотя бы некоторые из этих трудностей.

Довольно часто задают вопрос: почему математики занялись этой вроде бы исторической проблемой? Каковы побудительные мотивы?

Ответ следующий. Основные мои интересы, как профессионального математика, лежат далеко от проблем хронологии и истории. Однако, в середине семидесятых годов, исследуя один из важных вопросов небесной механики (о чем более подробно речь пойдет ниже в Главе 2) мне пришлось столкнуться с датами древних затмений. Речь шла о вычислении так называемого параметра D″ в теории движения Луны. Параметр характеризует ускорение и вычисляется как функция времени на большом интервале исторического времени. Вычисления были проделаны известным современным американским астрономом Робертом Ньютоном. Закончив их, он неожиданно обнаружил, что параметр D″ ведет себя чрезвычайно загадочно. А именно, он делает необъяснимый скачок на интервале VIII–X веков н. э. Скачок невозможно объяснить на основе обычной гравитационной теории и настолько невероятен, что Роберту Ньютону пришлось для его объяснения придумать загадочные «негравитационные силы» в системе Земля-Луна. Впрочем, никаким другим образом себя не проявляющие, что было очень странно.

Меня этот непонятный эффект заинтересовал как математика. Проверка работы Р. Ньютона показала, что вычисления выполнены на высоком научном уровне, никаких ошибок нет. После этого разрыв в графике D″ стал для меня еще более непонятным. Долгое размышление на эту тему привело к мысли проверить точность ДАТИРОВОК тех древних затмений, на которых были основаны вычисления D″. Ведь эти даты лежали в фундаменте вычислений Р. Ньютона. Как потом стало понятно, эта мысль оказалась новой для ученых, ранее интересовавшихся этим вопросом. Например, Роберт Ньютон, как известный специалист по астронавигации и теории расчетов траекторий небесных тел и аппаратов, конечно, абсолютно доверял всем древним датам и пытался объяснить обнаруженный им скачок в поведении D″, не выходя за рамки своей профессиональной деятельности. То есть, не ставя вопроса о достоверности древней хронологии. Мне повезло: оказалось, что известный русский ученый энциклопедист Н.А. Морозов в свое время, в начале нашего века, проанализировал датировки древних затмений и заявил, что почти все они нуждаются в ревизии. Для многих затмений он предложил новые даты, более «близкие» к нам. Взяв его таблицы, я заменил принятые сегодня даты затмений на «морозовские» и повторил вычисления Р. Ньютона с этими измененными начальными данными. К моему удивлению график D″ сразу радикально изменился и превратился в практически горизонтальную плавную линию. Что и предсказывалось обычной гравитационной теорией. Загадочный скачок исчез. Отпала, в частности, необходимость изобретать какие-то фантастические «негравитационные взаимодействия».