На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

на кону. В нашем случае ставки исключительно высоки, поэтому нам нужен стандарт, который будет принимать это в расчет[459].

Как правило, ожидаемые выигрыши сравнивают с ожидаемыми потерями. Но применить этот метод непросто, поскольку очень низкую (и плохо поддающуюся количественной оценке) вероятность колоссальной катастрофы необходимо сопоставлять с ощутимыми преимуществами, которые эксперименты уже принесли и, вероятно, принесут снова. Кроме того, знания или технологии, получаемые в результате экспериментов, могут помочь снизить будущий экзистенциальный риск или оказаться необходимыми для реализации нашего потенциала.

Для любого эксперимента, создающего беспрецедентные условия, вероятность катастрофы, как правило, очень мала. Но могут быть и исключения, и совокупная вероятность может нарастать. В основном такие риски контролируются плохо[460].

Риски, сопряженные с технологиями будущего, по природе своей более умозрительны, чем риски, возникающие из-за природных опасностей и наиболее мощных технологий настоящего. Это особенно очевидно, когда мы переходим от того, что становится реальностью в современной биотехнологии, к тому, что ждет нас в лучшем случае через несколько десятков лет. Но чтобы осознать, насколько серьезные риски ждут нас в будущем, необязательно считать все перечисленные угрозы вероятными (и даже правдоподобными). Даже если мы направим свое внимание лишь на пандемии искусственного происхождения, я полагаю, что сопряженный с ними экзистенциальный риск больше, чем все остальные риски из последних двух глав, вместе взятые, а этих рисков уже было достаточно, чтобы защита человечества стала главной заботой нашего времени.

Непредвиденные риски

Представьте, что научному институту в 1930 году поручили составить список экзистенциальных рисков, с которыми человечество столкнется в последующее столетие. Ученые упустили бы большинство рисков из этой книги, особенно антропогенных[461]. О существовании одних они, возможно, подозревали бы, но другие стали бы для них полной неожиданностью. Какая доля риска лежит вне поля нашего зрения?

Подсказкой может стать тот факт, что не снижаются ни темпы обнаружения новых рисков, ни темпы их возникновения. В связи с этим вероятно, что в последующее столетие и позже мы столкнемся с непредвиденными рисками. Поскольку могущество человечества по-прежнему стремительно растет, не стоит удивляться, что некоторые новые угрозы оказываются сопряжены с немалым риском.

Можно спросить, какой смысл рассматривать риски, которые не попадают в поле нашего зрения. Хотя нам не под силу работать с ними напрямую, мы все же можем снизить их, прилагая усилия к созданию мира, который серьезно подходит к собственному будущему. Следовательно, непредвиденные риски важны для понимания относительной ценности широких и узких программ по снижению рисков. Кроме того, они помогают нам оценить общий риск, с которым мы сталкиваемся.

Недавно Ник Бустрём указал на важный класс непредвиденных рисков[462]. Каждый год, разрабатывая новые технологии, мы можем наткнуться на нечто, что обладает разрушительной силой атомной бомбы или смертоносной эпидемии, но легко изготавливается из привычных нам материалов. Открытия хотя бы одной такой технологии может быть достаточно, чтобы дальнейшее существование человеческой цивилизации стало невозможным.

Часть третья

Путь вперед

Глава 6

Рисковый ландшафт

Если человечество намерено выжить и перейти на более высокий уровень, ему необходим новый тип мышления.

Альберт Эйнштейн[463]

Будущее человечества находится под угрозой, которая становится все серьезнее. В дополнение к природным рискам, существовавшим испокон веков, появились антропогенные, а на горизонте маячат новые опасности, и с каждым шагом мы оказываемся все ближе к краю пропасти.

Подробно рассмотрев каждый из рисков, мы наконец можем взглянуть на ситуацию шире и увидеть общую картину. Мы можем изучить весь ландшафт экзистенциального риска и понять, как риски соотносятся друг с другом, что у них общего и какие риски требуют нашего внимания в первую очередь.

Количественная оценка рисков

Как выглядит рисковый ландшафт? Какие риски формируют этот ландшафт, а какие – остаются лишь деталями? Теперь мы в состоянии ответить на эти вопросы.

Для этого необходимо провести количественную оценку рисков. Люди часто сомневаются в том, стоит ли оценивать катастрофические риски количественно, и предпочитают качественные характеристики, такие как “невероятный” и “крайне маловероятный”. Но в результате возникают серьезные проблемы во взаимодействии, поскольку понимать друг друга становится сложнее. Важнее всего, что такие фразы крайне неоднозначны и по-разному воспринимаются разными людьми. Например, “крайне маловероятным” одни считают риск с вероятностью один к четырем, а другие – один к пятидесяти[464]. Таким образом, работа, проведенная для точной оценки риска, немедленно идет насмарку. Кроме того, смысл этих фраз определяется тем, что стоит на кону: если риск “крайне маловероятен”, значит, он “достаточно низок, чтобы мы могли не принимать его в расчет” – и не привязан к нейтральной оценке степени вероятности[465]. Это приводит к проблемам при обсуждении рисков высокой важности, где даже малые вероятности могут иметь огромное значение. Наконец, без цифр не обойтись, если мы хотим обоснованно сравнивать вероятности разных рисков или классов рисков.

Так, завершая обсуждение экзистенциальных рисков в книге “Просвещение продолжается”, Стивен Пинкер обратился к природным рискам: “Наши предки ничего не могли противопоставить этим смертельным угрозам; мы же с вами, благодаря технологиям, живем не в самое опасное, а в самое безопасное время в истории”[466]. Хотя Пинкер прав в том, что мы сталкиваемся со множеством природных угроз, а технологии снизили сопряженный с ними риск, нельзя из этого сделать вывод, что наше время стало исключительно безопасным. Понять почему поможет количественная оценка рисков.

Чтобы наше время стало исключительно безопасным, мы должны были бы снизить природный риск сильнее, чем повысили антропогенный. Однако, как мы увидели в главе 3, несмотря на огромное число смертей в результате природных катастроф, их совокупная вероятность, по-видимому, всегда оставалась крайне низкой (иначе вид вроде нашего просто не смог бы просуществовать так долго). Реалистичная оценка векового природного экзистенциального риска находится в диапазоне от 1 к 1 000 000 до 1 к 2000. Следовательно, нашим технологиям почти нечего снижать. Даже при самой высокой из этих оценок технологии не могут снизить природный риск сильнее, чем на одну двадцатую процентного пункта. И лишь невероятный оптимизм при взгляде в будущее может дать нам основания полагать, что антропогенный риск, с