На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

корреляцию, то лучше, вероятно, считать их одним риском: риском, что произойдут все связанные между собой катастрофы. Его можно обозначить по общей причине всех катастроф, а не по непосредственным причинам каждой из них.

478

Тем не менее между рисками может возникнуть и антикорреляция, если они окажутся на расходящихся траекториях нашего будущего развития. Например, риски недостаточной глобальной координации и риски глобального тоталитаризма.

479

Как правило, я всячески рекомендую не предполагать наличие статистической независимости. Такое предположение часто приводит к недооценке вероятности экстремальных событий, когда все переменные движутся в одном направлении. Его вариацией можно считать предположение, что переменные распределяются нормально (поскольку нормальное распределение получается из суммы многих независимых переменных, согласно центральной предельной теореме). Известный пример того, как возникает ошибка, – модель ценообразования опционов Блэка – Шоулза, которая основывается на предположении о нормальном распределении и потому сильно недооценивает вероятность сильных коррелирующих колебаний цен.

Однако агрегирование экзистенциальных рисков может быть тем редким случаем, когда предполагать наличие статистической независимости не так уж плохо, поскольку нас меньше беспокоят ситуации, в которых множество событий происходит вместе.

480

Сегодня в этот список входят США, Россия, Китай и Европа. К концу текущего столетия он может сильно измениться.

481

Я не участвовал в первом исследовании “Глобальное бремя болезней” (World Bank, 1993; Jamison et al., 2006), но сыграл незначительную роль, выступив консультантом по нормативной базе при подготовке недавних отчетов в его рамках (GBD, 2012), и настоял, чтобы ставка дисконтирования для здоровья была приравнена нулю, что стало одним из ключевых изменений в сравнении с более ранними отчетами.

Еще больше меня вдохновил сопутствующий исследованию проект “Приоритеты контроля заболеваемости в развивающихся странах” (Jamison et al., 1993; Jamison et al., 2006). В нем рассматривается не то, сколько нездоровья вызывает каждая из причин, а насколько эффективны в пересчете на потраченные доллары различные меры предупреждения заболеваемости. Проект раскрыл мне глаза на поразительные различия в рентабельности разных способов укрепления здоровья и помог понять, что поддержка правильно выбранных благотворительных фондов может дать в сотни и тысячи раз больший эффект (Ord, 2013). Я выступил консультантом при подготовке третьей редакции проекта (Jamison, Gelband et al., 2018; Jamison, Alwan et al., 2018).

482

Говоря о “повышении”, я имею в виду, что фактор риска приводит к увеличению экзистенциального риска, а не просто находится в корреляции с ним. В частности, необходимо, чтобы воздействие на фактор риска приводило к соответствующему изменению уровня экзистенциального риска. Это можно выразить математически с помощью предложенного Джудой Перлом do-оператора – например, Pr (X|do (f = fmin)) (Pearl, 2000).

483

Экономические факторы риска могут возникнуть под действием изменения абсолютного уровня благосостояния (бедность), направления изменения текущего состояния (спад) и скорости изменений (стагнация).

484

Даже если бы они оказывали только непосредственное влияние, мы все равно могли бы причислить их к факторам риска (поскольку в строгом определении, которое я использую, говорится лишь, что они повышают риск, но не указывается, что повышение происходит опосредованно).

485

Искусственный интеллект также можно считать фактором риска. Такой эффект, как безработица, вызванная внедрением ИИ, не станет экзистенциальным риском, однако может угрожать серьезными политическими потрясениями и поэтому может быть причислен к факторам риска. Даже неконтролируемый ОИИ можно считать фактором риска, а не экзистенциальным риском, поскольку это не самостоятельный механизм уничтожения нашего потенциала, а новый источник волеизъявления, у которого может появиться мотив захватить контроль над нашим будущим любыми доступными средствами. Если система искусственного интеллекта действительно приведет нас к гибели, она убьет нас не одной лишь силой своего разума, а при помощи пандемий искусственного происхождения или других экзистенциальных угроз.

486

Возможно, не будет ни минимально, ни максимально достижимого значения (либо потому что область определения бесконечна, либо потому что интервал открыт). Ради простоты изложения я не стал учитывать эту возможность в основном тексте, но никаких особенных трудностей она не представляет. Поскольку вероятность экзистенциального риска имеет верхний и нижний пределы, мы можем заменить выражение Pr (X|f = fmax) супремумом (самой низкой вероятностью, которая выше Pr (X|f = f’) для всех возможных f’) и заменить Pr(X|f = fmin) соответствующим инфимумом.

487

Можно также учесть диапазон F. Это разница между Pr (X|f = fmin) и Pr (X|f = fmax). Она соответствует сумме вклада и потенциала F и не зависит от текущего значения.

488

Можно также учесть эластичность экзистенциального риска относительно f в окрестности fsq. Это пропорциональное изменение Pr (X) относительно небольшого пропорционального изменения f. Это безразмерная величина, показывающая чувствительность к фактору риска и позволяющая сравнивать факторы риска между собой.

489

В связи с этим также встает вопрос о переменных, которые и повышают, и снижают экзистенциальный риск в разных зонах своих областей определения (то есть там, где экзистенциальный риск не монотонен по этой переменной). Если влияние, оказываемое на экзистенциальный риск, монотонно в области возможных значений f, я предлагаю считать его фактором риска или фактором безопасности. Однако, если оно не монотонно даже в этом диапазоне, нам следует признать его более комплексным фактором.

Например, если измерять изменение климата в количестве градусов, на которые температура повысилась с доиндустриальных времен, вполне возможно, что возврат температуры к доиндустриальным уровням (и дальше) в итоге окажется непродуктивным для снижения экзистенциального риска. Однако, поскольку такая чрезмерная реакция сопряжена лишь с малой практической опасностью, имеет смысл считать потепление фактором риска.

490

Можно оценивать факторы безопасности по аналогии с факторами риска. Можно учитывать текущий вклад фактора в обеспечение нашей безопасности (в повышение вероятности того, что не произойдет экзистенциальной катастрофы) и его потенциал в дальнейшем снижении экзистенциального риска при максимальном усилении действия фактора. Наконец, можно учитывать влияние незначительных усовершенствований фактора безопасности на общий экзистенциальный риск.

491

Можно заподозрить, что снизить риск на один процент, если его изначальный уровень составляет 20 %, легче, чем если изначально он равен 5 %. Раньше я полагал, что эвристический принцип таков: уменьшить вероятность риска наполовину одинаково просто вне зависимости от отправной