На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

ресурсы. Тем из нас, кто хочет сберечь наше будущее, необходимо расставлять приоритеты, то есть определить, на что именно направлять свои ограниченные силы и ресурсы.

Для этого логично было бы сравнивать риски по вероятности их наступления, а точнее, по размеру их вклада в общий риск. Поскольку ставки по большинству экзистенциальных рисков примерно равны (бо́льшая часть потенциальной ценности будущего), можно подумать, что этим дело и ограничивается: приоритетность рисков следует определять по тому, насколько они повышают общий риск.

Но это не так. Дело в том, что работать с некоторыми рисками проще. Например, мы можем снизить небольшой риск с 5 до 1 %, задействовав те же ресурсы, которые понадобились бы, чтобы снизить более серьезный, но более неподатливый риск с 20 до 19 %[491]. В таком случае, направив эти ресурсы на меньший риск, мы смогли бы снизить общий экзистенциальный риск сильнее.

Наша конечная цель – потратить ресурсы, выделенные на работу с экзистенциальным риском, таким образом, чтобы снизить общий риск как можно сильнее. Можно представить распределение ресурсов, имеющихся у человечества, как портфель инвестиций, состоящий из вложений в разные способы предотвращения разнообразных рисков. Сформировать весь портфель очень сложно, и часто мы в силах лишь вносить незначительные коррективы в распределение мировых ресурсов, поэтому для простоты представим, что мы вносим незначительные изменения в существующий портфель. Учитывая всю остальную работу, которая ведется для предотвращения рисков в настоящее время, какую задачу следует считать самой неотложной? Куда следует направить дополнительные ресурсы (например, время и деньги), чтобы сильнее всего снизить общий риск?

Дать точный ответ на этот вопрос крайне сложно. Но некоторые эвристические принципы помогут нам ограничить количество вариантов. Один из них таков: чем важнее проблема, чем более она податлива и чем сильнее ею пренебрегают, тем более она затратно-эффективна, а следовательно, тем выше ее приоритет[492]. Важность проблемы определяется тем, насколько высокую ценность имеет ее решение. В случае с экзистенциальным риском мы можем, как правило, приравнять важность к тому вкладу, который он вносит в общий риск. Податливость – мера того, насколько просто решить проблему. Чтобы точно определить это, можно спросить, какая доля риска была бы устранена, если бы мы удвоили ресурсы, которые в настоящее время брошены на работу с ним. Наконец, проблемой пренебрегают, если на нее направляется мало ресурсов. Здесь действует закон убывающей отдачи: как правило, дополнительные ресурсы приносят тем больше пользы, чем меньше ресурсов было затрачено на решение проблемы раньше[493].

Мой коллега из Института будущего человечества Оуэн Коттон-Баррат продемонстрировал, что, когда эти условия должным образом сформулированы, затратную эффективность работы над конкретной проблемой можно выразить очень простой формулой[494]:

Затратная эффективность = Важность × Податливость × Пренебрежение.

Хотя очень сложно назвать точные цифры для любого из этих показателей, эта модель все же позволяет сделать полезные выводы. Так, она показывает, почему в идеальном портфеле, как правило, ресурсы распределяются между несколькими рисками, а не направляются на один: чем больше мы вкладываем в конкретный риск, тем меньше мы пренебрегаем им, и привлечение дополнительных ресурсов на борьбу с ним перестает быть приоритетным. Через некоторое время оказывается, что дополнительные ресурсы выгоднее направлять на работу с другим риском.

Кроме того, эта модель позволяет нам понять, как находить компромиссные соотношения этих показателей. Например, при выборе между двумя рисками, вероятности которых различаются в пять раз, эта разница в вероятности того, что они наступят, может быть превзойдена десятикратным увеличением объема финансирования. Модель предлагает руководствоваться таким общим принципом:

Пропорциональность

Когда набор рисков обладает одинаковой податливостью (или когда мы не знаем, какой из них податливее), в идеальном глобальном портфеле ресурсы распределяются между всеми рисками пропорционально их вкладу в общий риск[495].

Но это не значит, что вам лично следует распределять свои ресурсы между ними пропорционально их вероятностям. Индивиду или группе следует вкладывать свои ресурсы так, чтобы способствовать приведению мирового портфеля в идеальное состояние. Часто это предполагает необходимость направить все силы на один риск – особенно учитывая, насколько ценна возможность посвятить ему свое безраздельное внимание.

Этот анализ дает нам отправную точку: предварительную оценку ценности выделения новых ресурсов на работу с риском. Но часто встречаются ресурсы, которые гораздо ценнее в применении к одному риску, чем к другому. Это особенно верно в отношении людей. Биологу гораздо логичнее работать с риском пандемий искусственного происхождения, чем переучиваться для работы с риском ИИ. Получается, что в идеальном портфеле учитываются сравнительные преимущества людей. Кроме того, порой возникают подкрепленные ресурсами возможности помочь с конкретным риском. Каждый из этих показателей (соответствие профилю и подкрепленность ресурсами) может легко изменить ценность возможности в десять (и более) раз.

Рассмотрим еще три эвристических принципа для расстановки приоритетов: фокус на рисках, которые наступают рано, внезапно и резко. Эти категории не конкурируют с важностью, податливостью и пренебрежением, а проливают на них новый свет.

Допустим, один риск наступает рано, а другой – поздно. При прочих равных в приоритете должен быть тот риск, который наступает рано[496]. Одна причина в том, что с рисками, которые наступают позже, работать можно и позже, но с теми, что наступают раньше, это не получится. Другая – в том, что на работу с рисками, наступающими позже, вероятно, будет выделено больше ресурсов, поскольку человечество продолжит наращивать свою мощь и все больше людей будет понимать, в какой ситуации мы оказались. В результате рисками, наступающими позже, будут меньше пренебрегать. Наконец, нам понятнее, что делать с рисками, которые вот-вот наступят, в то время как с рисками, наступающими позже, мы вполне можем выбрать неправильный путь. Непредвиденные события в области технологий и политики в период до наступления риска могут изменить его природу, предложить более эффективные способы работы с ним или устранить его вообще, и тогда мы зря потратим свои силы на ранних этапах. Таким образом, риски, наступающие позже, в текущий момент характеризуются меньшей податливостью, чем риски, наступающие раньше.

Что, если один риск наступает внезапно, а другой – постепенно? При прочих равных в приоритете должен быть тот риск, который наступает внезапно. Риск, наступающий постепенно, с большей вероятностью привлечет внимание общественности и традиционных структур управления. В результате в долгосрочной перспективе им, скорее всего, будут меньше пренебрегать.

Некоторые экзистенциальные риски грозят нам катастрофами