На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

определения программно-нормативных установок – возможно, с ними не справятся даже лучшие из институтов, существующих сегодня. Но сейчас ситуация именно такова, и мы должны отдавать себе в этом отчет. Чтобы соответствовать этим требованиям, необходимо срочно улучшить наши институциональные возможности.

Весьма непросто будет и понять, когда таким институтам необходимо будет приступить к действию. С одной стороны, они должны быть в состоянии предпринимать решительные шаги, даже если данные не соответствуют высочайшим научным стандартам. С другой стороны, может возникнуть риск, что мы начнем гоняться за призраками – по просьбе (или по принуждению) идти на большие жертвы, не имея достаточно данных. Эта проблема усугубляется, когда риск связан с засекреченными сведениями или информационными опасностями, к анализу которых нельзя привлечь широкую публику. Похожие трудности возникают из-за того, что власти наделены правом объявлять чрезвычайную ситуацию: в разгар реального кризиса без чрезвычайных полномочий не обойтись, но ими очень легко злоупотреблять[525].

Третий вызов связан с недостатком знаний. Как прогнозировать, измерять и осознавать риски, которые никогда не наступали? Крайне сложно предсказать риск, сопряженный с новыми технологиями. Представьте момент, когда на наши дороги впервые выехали автомобили. Было совсем непонятно, насколько это опасно, но теперь, когда это случилось и позади остались миллионы километров, мы легко определяем риски, анализируя статистические частоты. Это позволяет нам понять, перевешивают ли выгоды эти риски, что именно нам могут дать очередные усовершенствования в сфере безопасности и какие усовершенствования будут особенно полезны.

Мы не располагаем такими данными об экзистенциальном риске и не можем рассчитать вероятности на основе длительных наблюдений за частотами. Нам приходится принимать чрезвычайно важные решения в отсутствие надежной информации о вероятностях сопряженных с ней рисков[526]. Оценка вероятностей тех событий, на которые мы ориентируемся при принятии решений о работе с экзистенциальным риском, сопряжена с серьезными трудностями[527]. Эта проблема уже наблюдается в исследованиях климатических изменений и вызывает серьезные трудности при выработке политики в этой области – особенно если это приводит к возникновению явных или неявных систематических ошибок при интерпретации неоднозначных данных.

В период холодной войны беспокойство об экзистенциальном риске, сопряженном с ядерной войной, часто списывалось со счетов по причине того, что серьезность риска не была доказана. Но для экзистенциального риска такой стандарт недостижим. Научные доказательства предполагают многократное повторение экспериментов, и при разработке этих требований подразумевалось, что такие эксперименты возможны и не слишком затратны. Ни одна из этих посылок, однако, не верна. Как метко отметил Карл Саган, “теории, предполагающие конец света, не поддаются экспериментальной проверке – по крайней мере, их нельзя проверить дважды”[528].

Даже не имея исторических данных об экзистенциальной катастрофе, мы можем оценивать сопряженные с ней вероятности или определять границы этих вероятностей. Например, в третьей главе мы научились ориентироваться на продолжительность существования людей и подобных животных, чтобы получить достаточно грубую оценку общего природного риска. Мы также можем учитывать случаи, когда нам едва удалось избежать гибели: как крупнейшие из случившихся катастроф (например, черную смерть), так и едва не случившиеся экзистенциальные катастрофы (например, в ходе Карибского кризиса). Это поможет нам понять, насколько общество устойчиво к крупным катастрофам и как из-за неполноты информации страны порой оказываются гораздо ближе к войне с фатальными последствиями, чем планировали. Нам нужно извлекать как можно больше уроков из таких случаев, даже если они не являются точными аналогиями для новых рисков, с которыми мы сталкиваемся, поскольку других данных у нас попросту нет.

В некоторой степени использование данных о едва не случившихся катастрофах систематизировано в сфере анализа рисков. Существуют методы для оценки вероятности беспрецедентных катастроф на основе прецедентных просчетов, которые должны необходимо случиться, чтобы катастрофа действительно произошла. Например, методика анализа дерева ошибок была разработана для оценки надежности стартовых комплексов ядерных ракет и регулярно помогает при управлении такими низкочастотными рисками, как авиакатастрофы и ядерные аварии[529].

Особенно сложно оценивать риски вымирания человечества. Вне зависимости от вероятности такого события найти в прошлом его прецедент невозможно. Вариация этого эффекта отбора может искажать исторические данные о некоторых катастрофах, связанных с вымиранием, даже если они вызывают его не всегда. Например, у нас, вероятно, нет возможности непосредственно применить имеющиеся данные о столкновениях с астероидами и полномасштабной ядерной войне. Насколько нам известно, такие эффекты отбора не слишком искажают исторические данные, но статей по этой теме мало, а некоторые методологические проблемы еще не решены[530].

Наконец, трудность возникает и при работе со всеми маловероятными рисками с высокими ставками. Допустим, по оценкам ученых, беспрецедентный технологический риск может с чрезвычайно малой вероятностью вызвать экзистенциальную катастрофу. Пусть вероятность этого составляет один на триллион. Можем ли мы использовать эту конкретную цифру в своем анализе? К сожалению, нет. Вероятность того, что ученые некорректно оценили эту вероятность, во много раз выше, чем один на триллион. Как мы помним, они не сумели оценить масштаб колоссального ядерного взрыва “Касл Браво”[531], а если бы просчет был настолько маловероятен, таких примеров не было бы. Следовательно, если катастрофа все-таки происходит, гораздо вероятнее то, что в расчеты закралась ошибка и реальный риск был серьезнее, чем то, что произошло событие с вероятностью один на триллион.

Это значит, что число один на триллион не может быть точкой отсчета при принятии решений, а те, кто их принимает, должны учитывать это и ориентироваться на более высокую вероятность[532]. Не очень понятно, как именно это делать. Общая установка состоит, в частности, в том, что неопределенность физической вероятности события не может быть причиной игнорировать риск, поскольку истинный риск может быть как выше, так и ниже. Более того, если изначальная оценка вероятности очень низка, корректный учет неопределенности часто ухудшает ситуацию, поскольку истинная вероятность может быть существенно выше, а может быть и значительно ниже[533].

Трудности, связанные с экзистенциальным риском, неординарны, но они разрешимы. Для этого необходимо расширить наши теоретические знания о том, как оценивать риски, беспрецедентные по своей природе. Нужно научиться лучше сканировать горизонт и прогнозировать появление подрывных технологий, а также более эффективно внедрять эти методы и идеи в процесс принятия стратегических решений.

Международная координация

Защита человечества – общественное благо мирового масштаба. Как мы увидели ранее, даже в такой влиятельной стране, как США, живет всего одна двадцатая часть населения Земли, а следовательно, на долю США придется лишь одна двадцатая часть выгод от предотвращения катастрофы. Если страны не пытаются скоординировать свои усилия, возникает проблема коллективных действий. У отдельных