Методы статистического анализа исторических текстов (часть 2) - Анатолий Фоменко

23,78 14,86 2,15 3,64 2,74 1,88

23,35 16,33 2,19 3,80 2,71 1,93

23,77 14,23 2,11 3,47 2,15 2,17

23,82 15,24 2,11 5,75 2,19 2,07

23,77 14,97 2,20 3,42 2,49 1,75 ---------------------------------------------------------------среднее знач. 23,62 15,95 2,16 3,81 2,36 1,92 отклонение 0,020 0,477 0,08 0,45 0,27 0,26 --------------------------------------------------------------

Отчетливо видно, что наименьшими отклонениями обладают параметры 3 и 2, а именно - 0,016 и 0,023 для Тургенева и 0,020 и 0,08 для Толстого. Но параметр 2 не может служить авторским инвариантом, так как его значения для подавляющего большинства разных авторов из нашего списка чрезвычайно близки. Например, 2,17 для Тургенева и 2,16 для Толстого. Поэтому с точки зрения параметра 2 все писатели "сливаются в одного", что не позволяет их различать.

Параметр 3 - частота служебных слов - оказывается не только инвариантом, но и различает достаточное число авторов. Например, для Тургенева он равен 22,24, а для Толстого 23,62. Разность равна 1,38, что превышает колебания этого параметра внутри произведений Тургенева и Толстого.

Для изученных нами писателей параметр 3 может принимать значения от 19,4 процентов до 27,5 процентов, т.е. диапазон его значений достаточно велик по сравнению с колебаниями параметра внутри текстов отдельных авторов.

Приведем теперь таблицу значений параметров 3,7 и 8 для Гоголя, Герцена, Достоевского, Леонова и Фадеева.

-----------|------|------|------|------------|------|------|------| параметры: | 3 | 7 | 8 | параметры: | 3 | 7 | 8 | -----------|------|------|------|------------|------|------|------| ГОГОЛЬ 23,82 2,25 2,10 | ГЕРЦЕН 22,42 2,87 2,03

23,54 2,29 1,86 | 22,87 3,10 2,04

23,61 2,61 1,82 | 22,98 2,64 1,92

23,62 2,75 1,90 |

23,85 2,10 2,50 | --------------------------------|---------------------------------сред.знач. 23,65 2,45 1,95 | сред.знач. 22,71 2,91 2,01 отклонение 0,013 0,027 0,35 | отклонение 0,024 0,16 0,06 -----------|------|------|------|------------|------|------|------| параметры: | 3 | 7 | 8 | параметры: | 3 | 7 | 8 | -----------|------|------|------|------------|------|------|------| ДОСТОЕВ- 25,26 2,23 1,70 | ЛЕОНОВ 23,11 2,97 1,81 СКИЙ 25,43 2,48 2,21 | 23,04 2,58 2,00

25,29 2,13 2,14 | --------------------------------|---------------------------------сред.знач. 25,32 2,38 2,02 | сред.знач. 23,06 2,83 1,90 отклонение 0,007 0,15 0,25 | отклонение 0,003 0,14 0,10 -----------|------|------|------|------------|------|------|------| параметры: | 3 | 7 | 8 | параметры: | 3 | 7 | 8 | -----------|------|------|------|------------|------|------|------| ФАДЕЕВ 23,40 2,54 1,78 |

23,43 2,72 1,99 | --------------------------------| сред.знач. 23,40 2,62 1,89 | отклонение 0,002 0,07 0,11 | --------------------------------|--------------------------------

Приведем таблицу значений параметров 3,1,2,9 для Гончарова и Лескова.

--------------|------|------|------|------| параметры: | 3 | 1 | 2 | 9 | --------------|------|------|------|------| ГОНЧАРОВ 25,13 11,67 2,09 2,92

24,88 13,16 2,03 3,31

24,98 13,72 2,06 3,68

25,47 15,05 2,10 3,58 ------------------------------------------сред.значение 25,06 13,41 2,06 3,37 отклонение 0,019 0,25 0,03 0,26 --------------|------|------|------|------| параметры: | 3 | 1 | 2 | 9 | --------------|------|------|------|------| ЛЕСКОВ 26,08 15,65 2,05 3,99

25,83 18,11 2,16 4,69

26,18 15,40 2,11 4,02 ------------------------------------------сред.значение 26,01 16,58 2,11 4,28 отклонение 0,010 0,16 0,05 0,163 ------------------------------------------

Высокой стабильностью характеризуются значения параметра 3 для А.М.Горького: 22,02, 22,21, 22,20, 22,17 и т.д. Среднее значение 22,15, а отклонение 0,009.

Кстати, значения всех перечисленных параметров вычислялись с точностью до ТРЕХ десятичных знаков. В таблицах значения округлены до двух десятичных знаков. Три знака оставлены только для отклонений параметра 3 от среднего значения.

Поскольку параметр 3 - процентное содержание всех служебных слов - выделяется среди остальных параметров своей поразительной СТАБИЛЬНОСТЬЮ И РАЗЛИЧАЮЩЕЙ СПОСОБНОСТЬЮ, то интересно специально проследить за его колебаниями в зависимости от объема выборки. Приведем таблицу, показывающую зависимость величины отклонения от среднего значения при разных выборках.

---------------|-----------|-------------------------------------Писатели | Процент | Величина отклонения этого параметра

| служебных | от его среднего значения при

| слов | следующих объемах выборок:

| |---------|--------|--------|--------

| | 2000 | 4000 | 8000 | 16000 ---------------|-----------|---------|--------|--------|--------ЧУЛКОВ..............22,15......0,064....0,004......-........НОВИКОВ.............23,57......0,136....0,019......-........ФОНВИЗИН............23,62......0,069....0,013....0,001......РАДИЩЕВ.............22,30......0,054....0,018......-........КАРАМЗИН............19,44......0,051....0,014....0,003......КРЫЛОВ..............23,67......0,040....0,013......-........ГОГОЛЬ..............23,65......0,169....0,066....0,019....0,013 ГЕРЦЕН..............22,71......0,165....0,109....0,025....0,024 ГОНЧАРОВ............25,06......0,229....0,116....0,046....0,019 ТУРГЕНЕВ............22,24......0,126....0,069....0,040....0,016 МЕЛЬНИКОВ-ПЕЧЕРСКИЙ.24,49......0,240....0,062....0,005......ДОСТОЕВСКИЙ.........25,32......0,203....0,098....0,030....0,007 САЛТЫКОВ-ЩЕДРИН.....24,56......0,173....0,042....0,016......ЛЕСКОВ..............26,01......0,132....0,057....0,017....0,010 ТОЛСТОЙ Л.Н. .......23,62......0,199....0,103....0,036....0,020 ГОРЬКИЙ.............22,15......0,201....0,109....0,020....0,009 БУНИН...............24,64......0,143....0,027....0,013......НОВИКОВ-ПРИБОЙ......21,10......0,129....0,090....0,049......ФЕДИН...............21,20......0,151....0,064....0,028....0,019 ЛЕОНОВ..............23,08......0,147....0,049....0,014....0,003 ШИШКОВ..............20,60......0,152....0,115....0,019......ФАДЕЕВ..............23,40......0,184....0,111....0,018....0,002 ---------------------------------------------------------------

Как видно из таблицы, стабилизация параметра 3 иногда наступает на объемах выборок, меньших чем 16000. Особенно это относится к писателям XVIII века. Например, для Карамзина стабилизация авторского инварианта наступает при объеме в 8000 слов, для Фонвизина - также 8000 слов. Вероятно, это указывает на несколько большую устойчивость стиля писателей XVIII века по сравнению с их коллегами в XIX и XX веках.

Подмеченное нами обстоятельство - ранняя стабилизация показывает, что в некоторых случаях авторским инвариантом (процент служебных слов) можно пользоваться и при изучении текстов небольших объемов. Однако при широких исследованиях необходимо все-таки пользоваться выборками в 16000 слов, поскольку только для них стабилизация параметра 3 наступает ОДНОВРЕМЕННО для всех исследованных авторов.

После обнаружения авторского инварианта для перечисленных 22 писателей, рамки эксперимента были расширены и аналогичные подсчеты были проведены еще для пяти авторов: А.Н.ОСТРОВСКОГО, А.К.ТОЛСТОГО, В.А.ЖУКОВСКОГО, А.С.ПУШКИНА и А.П.ЧЕХОВА. Были отобраны ПРОЗАИЧЕСКИЕ тексты БОЛЬШОГО объема. Расширенный эксперимент полностью подтвердил высокую стабильность параметра 3 при выборках в 16000 слов и его способность различать разные группы авторов. Таким образом, полный список писателей, для которых параметр 3 оказался устойчивым и различающим авторским инвариантом, расширился с 22 до 27.

10. КАК МОЖНО ПРИМЕНЯТЬ ОБНАРУЖЕННЫЙ АВТОРСКИЙ ИНВАРИАНТ?

ВОЗМОЖНОЕ ОБНАРУЖЕНИЕ ПЛАГИАТА.

Одно из возможных применений обнаруженного авторского инварианта - это распознавания плагиата, установления возможного авторства и т.п. Можно предложить следующую естественную методику. Если для двух исследуемых произведений значения параметра 3 (процент служебных слов) разнятся больше, чем на единицу, то есть основания заподозрить различное авторство сравниваемых текстов. Чем больше разница в значениях инварианта, тем подозрение серьезнее.

С другой стороны (как и в проблеме установления отцовства) близкие значения инварианта отнюдь не означают, что исследуемые произведения написаны одним автором. Как мы отмечали, встречаются разные писатели с близкими значениями инварианта. Например, Леонов и Фадеев, у которых эти числа равны соответственно 23,08 и 23,40.

Кроме того, применять методику распознавания авторов к текстам МАЛОГО объема следует чрезвычайно осторожно. Возникающие здесь трудности можно проиллюстрировать на примере крупных и мелких произведений А.П.Чехова. Параметр 3 (процент служебных слов) был просчитан вдоль всех его произведений в собрании сочинений 1960-1964 гг., Москва. Оказалось, что параметр 3 ведет себя следующим образом:

-------------|---------------------------------|------------------

| мелкие рассказы | большие тексты -------------|-----|------|------|------|------|------|------|----номер тома | I | II | III | IV | V | VI | VII | VIII -------------|-----|------|------|------|------|------|------|----процент слу- 22,6 22,5 23,4 22,7 23,4 25,4 25,5 25,4 жебных слов ------------------------------------------------------------------

Разница между значениями параметра 3 для ранних МЕЛКИХ рассказов Чехова (I-V тома) и для более КРУПНЫХ повестей и рассказов позднего периода его творчества (VI-VIII тома) достаточно ощутима. См. рис.Доп-3.8. Причем в ранних МЕЛКИХ рассказах не только МЕНЬШЕ служебных слов, но главное заключается в том, что разброс их больше, чем в последующих КРУПНЫХ произведениях. БОЛЬШИЕ (поздние) тексты Чехова характеризуются ВЫСОКОЙ СТАБИЛЬНОСТЬЮ авторского инварианта, как впрочем и для всех других 26 авторов БОЛЬШИХ текстов из нашего списка. В этом смысле Чехов не выделяется на их фоне - параметр 3 прекрасно "обслуживает" все его БОЛЬШИЕ сочинения.

В заключение отметим еще одно интересное обстоятельство. Оказалось, что процент служебных слов наиболее стабилен (при величине порций в 8000 и 16000 слов) на ПРОЗАИЧЕСКИХ произведениях и менее устойчив на ПОЭТИЧЕСКИХ текстах. Этот вопрос заслуживает отдельного рассмотрения и здесь мы не будем на нем останавливаться.

Обнаружение авторского инварианта в русском литературном языке делает весьма правдоподобным гипотезу о существовании аналогичных авторских инвариантов и в других языках. Они могут, конечно, отличаться от процента служебных слов. Особый интерес представляли бы авторские инварианты греческого и латыни, если иметь в виду применения аналогичных методик для распознавания авторства древних текстов.