На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

пункт до 90 %, в то время как устранение 90 %-ного риска снизит его на 81 процентный пункт до 10 %.

Все три описанных эффекта наблюдаются вне зависимости от того, наступают риски в одно или в разное время[663]. Следовательно, если в нашем будущем много риска, устранение рисков может становиться все более важным с каждым последующим столетием. Многие силы в общем случае приводят к убыванию отдачи от работы (например, тот факт, что мы можем начать с рисков, работать с которыми проще). Но если нам не повезет и риска будет много, то общая предельная отдача от борьбы с экзистенциальным риском, возможно, будет возрастать. И, вероятно, особенно важно будет работать с крупнейшими рисками.

Приложение Е

Ценность защиты человечества

Насколько ценно защищать человечество? Хотя дать точный ответ на этот вопрос не получится, один подход к нему представляется мне весьма полезным.

Начнем с намеренно примитивной модели экзистенциального риска. В этой модели делаются три допущения: о распределении риска во времени, о способах снизить этот риск и о ценности будущего. Для начала допустим, что уровень экзистенциального риска не меняется от века к веку, но остается неизвестным, и обозначим его r (постоянный уровень риска). Следовательно, когда мы вступаем в новый век, сохраняется вероятность r, что до следующего века мы не доживем. Далее допустим, что своими действиями мы можем снизить вероятность экзистенциальной катастрофы в текущем веке с r до некоторого меньшего числа. И наконец допустим, что каждый век до катастрофы обладает одинаковой ценностью v, то есть ценность будущего пропорциональна его продолжительности до катастрофы. (Это значит, что ценность будущего не дисконтируется, не считая вероятности того, сколько мы проживем до катастрофы, и не учитывая, что мы делаем предположения о популяционной этике[664].) При таких допущениях ожидаемая ценность (ОЦ) будущего рассчитывается по формуле:

Это просто ценность одного века, деленная на вековой риск. Так, если вековой риск составляет 1 к 10, то ожидаемая ценность будет в десять раз больше ценности одного века.

Отсюда вытекает неожиданное следствие: что ценность устранения всего экзистенциального риска в текущем веке не зависит от того, насколько высок этот риск. Чтобы увидеть это, представьте, что вековой экзистенциальный риск составляет всего одну часть на миллион. Хотя вероятность того, что мы станем жертвами риска нашего века, ничтожна, будущее, которое мы потеряем, если это все-таки случится, сообразно огромно (в среднем миллион веков). В примитивной модели эти эффекты всегда уравновешивают друг друга. Ожидаемая ценность экзистенциального нериска в текущем веке рассчитывается по формуле:

Следовательно, ожидаемая ценность устранения всего риска в столетии просто равна ценности столетия жизни для человечества[665].

Поскольку невозможно полностью устранить весь риск в текущем столетии, полезнее отметить, что в примитивной модели снижение векового риска вдвое ценится как половина столетия существования человечества (и это так же справедливо для любой другой доли и любого другого промежутка времени). Этого достаточно, чтобы сделать защиту нашего будущего ключевым приоритетом во всем мире.

Однако ценность примитивной модели не в точности, а в гибкости. Она служит точкой отсчета, когда мы изучаем, что случится при изменении любого из учитываемых в ней допущений. На мой взгляд, все три этих допущения слишком пессимистичны.

Во-первых, с веками ценность человечества по многим параметрам существенно возросла. Этот прогресс шел весьма неровно в краткосрочные периоды, но удивительно стабильно в долгосрочной перспективе. Мы живем долго, и наша жизнь полна культурных и материальных богатств, которые наши предки тысячи лет назад просто сочли бы выдумкой. Возможно, учитывать стоит и размах нашей цивилизации: тот факт, что такой полной жизнью живет в тысячи раз больше человек, по всей видимости, повышает ее ценность. Если собственная ценность каждого века растет с коэффициентом больше r, это может существенно повысить ценность защиты человечества (даже если такой темп роста не сохраняется навсегда)[666].

Во-вторых, согласно примитивной модели, наши действия в текущем веке могут защитить нас лишь от рисков в этом же веке. Но сделать можно и больше. Своими действиями мы можем оказывать продолжительное воздействие на риски. Так, эта книга – моя попытка расширить представления человечества о природе экзистенциального риска и помочь людям понять, как с ним работать. Многие уроки, которые я привел, не устаревают со временем: в той степени, в которой они вообще способны нам помочь, они помогут нам и с будущими рисками[667]. Работа, которая снижает риск на многие века, гораздо важнее, чем следует из примитивной модели.

Если работа снижает весь будущий экзистенциальный риск, ее ценность зависит от уровня риска r. Например, ценность снижения будущего риска вдвое такова:

Как ни удивительно, ценность снижения риска на всех отрезках времени тем выше, чем меньше риск[668]. Это противоречит нашим интуитивным представлениям, поскольку люди, которые оценивают риск невысоко, как правило, используют это в качестве аргумента против приоритизации работы над экзистенциальным риском. Но чтобы интуитивно понять, почему низкий уровень риска делает его снижение более важным, нужно вспомнить, что сокращение экзистенциального риска вдвое на всех отрезках времени вдвое увеличивает ожидаемую продолжительность времени до катастрофы. Следовательно, ситуации, когда риск уже низок, дают нам более долгое будущее, которое можно увеличить вдвое, и потому эта работа становится еще важнее. Кроме того, обратите внимание, что каждое последующее сокращение всего будущего риска вдвое дает все большую предельную отдачу.

В-третьих (и это, вероятно, важнее всего), вековой риск со временем меняется. Он вырос в прошлом веке и, возможно, продолжит расти в текущем. Но я полагаю, что в долгосрочной перспективе он снизится, и тому есть несколько независимых причин. В последующие несколько веков мы, вероятно, сможем основать постоянные колонии за пределами Земли. Космос не панацея (см. с. 232), но если мы разложим свои яйца по нескольким корзинам, это поможет нам защититься от части риска. Кроме того, существенная доля риска сопряжена с появлением новых революционных технологий. Но если мы проживем достаточно долго, то вполне можем достичь технологической зрелости – времени, когда в нашем распоряжении окажутся все важнейшие технологии, которые можно разработать, и впереди не будет никаких технологических переходов[669]. Наконец, нам нужно учитывать работу, которую будущие поколения станут проводить для защиты человечества в свои века. Если необходимость защиты человечества настолько очевидна и важна, как кажется мне, нам стоит ожидать, что со временем она будет получать все