На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

Однако, если я прав, риски переходного периода гораздо выше, чем риски состояния (главным образом потому, что в первую категорию входит больше антропогенных рисков). Это позволяет сделать вывод, что ускорение общего технологического прогресса неоправданно. В целом баланс определяется нашим желанием обеспечить экзистенциальную безопасность, вызвав как можно меньше кумулятивного риска. Я подозреваю, что для этого нам лучше всего ускорить развитие именно тех областей науки и техники, которые помогут нам справиться с крупнейшими рисками состояния, а также проявлять дальновидность и осторожность, направляя скоординированные усилия на работу с крупнейшими рисками переходного периода.

Хотя сейчас наше положение неустойчиво, это не значит, что решение проблемы в том, чтобы как можно скорее снизить годовой риск до приемлемого уровня. Наша главная цель – устойчивость в долгосрочной перспективе: мы должны защитить потенциал человечества, чтобы обеспечить себе максимальные шансы реализовать его в грядущие эпохи. Следовательно, правильная устойчивость не означает, что нужно как можно быстрее прийти в устойчивое состояние, – нужно встать на устойчивую траекторию, где риски, возникающие на пути, будут уравновешиваться защитой, которую мы в итоге обретем[565]. Вероятно, для этого придется идти на дополнительные риски в краткосрочной перспективе, но только если они в достаточной степени снижают риски в долгосрочной перспективе.

Исследования экзистенциального риска

Исследования экзистенциального риска находятся в зачаточной стадии. Мы только начинаем понимать, с какими рисками сталкиваемся и как лучше с ними работать. Что же касается концептуальных и моральных принципов, а также общей стратегии человечества в этом вопросе, мы находимся на еще более ранней стадии. Таким образом, мы пока не готовы к решительным действиям для защиты своего долгосрочного потенциала. В связи с этим очень важно продолжать исследования экзистенциального риска. Они помогут нам определить, какие из доступных мер следует принимать, и открыть абсолютно новые способы борьбы с риском, те, что мы прежде даже не рассматривали[566].

Часть исследований необходимо посвятить конкретным темам. Нам нужно лучше изучить экзистенциальные риски: узнать, насколько они вероятны, каковы их механизмы и как лучше всего снижать их. Хотя ведутся масштабные исследования ядерной войны, изменения климата и биологической безопасности, лишь малая их часть посвящена самым радикальным событиям в каждой сфере – событиям, которые представляют угрозу для всего человечества[567]. Точно так же необходимо значительно расширить технические исследования того, как настраивать ОИИ в соответствии с человеческими ценностями.

Кроме того, нужно лучше изучить, как работать с основными факторами риска, такими как война между великими державами и с основными факторами безопасности. Например, понять, как создавать более эффективные институты, которые смогут осуществлять международную координацию и представлять интересы будущих поколений. Или как повышать свою стойкость, чтобы увеличивать вероятность восстановления после несмертельных катастроф. Необходимо и искать новые факторы риска и безопасности, чтобы у нас появилось больше способов работы с экзистенциальным риском.

Параллельно исследованию множества конкретных тем нужно изучать и абстрактные вопросы. Нам следует лучше разобраться в том, что такое лонгтермизм, потенциал человечества и экзистенциальный риск: доработать концепции, сделав их максимально убедительными; выяснить, на какие этические основания они опираются и какие этические обязательства предполагают; и глубже изучить ключевые стратегические вопросы, стоящие перед человечеством.

Может показаться, что эти области слишком огромны и неприступны, но прогресс в них возможен. Вспомните идеи, которые мы обсуждали на страницах этой книги. Некоторые из них имеют весьма общий характер: обзор истории человечества на протяжении столетий, Пропасть и важность защиты будущего. Но многие можно свести к емким и четким тезисам. Например, что катастрофа, в которой погибнет 100 % населения, может быть гораздо хуже, чем катастрофа, в которой погибнет 99 % населения, поскольку в первом случае человечество лишится будущего; продолжительность существования человечества как вида свидетельствует, что вероятность природных рисков не слишком высока; что снижение экзистенциального риска, как правило, будет недополучать ресурсы, поскольку это межпоколенческое всеобщее общественное благо; или что риски состояния отличаются от рисков переходного периода. Уверен, со временем появится еще немало подобных идей. Чтобы прийти к ним, специальные знания, как правило, не нужны – достаточно аналитического ума, который ищет закономерности, инструменты и объяснения.

Возможно, это удивит вас, но для многих исследований экзистенциального риска уже доступно финансирование. Некоторые дальновидные филантропы воспринимают экзистенциальный риск всерьез и недавно начали спонсировать первоклассные исследования основных рисков и путей их устранения[568]. Так, проект “Открытая филантропия” профинансировал недавнее моделирование ядерной зимы, а также исследования безопасности технического ИИ, готовности к пандемии и изменения климата – и все с особенным вниманием к самым неблагоприятным сценариям[569]. На момент написания этой книги спонсоры проекта готовы финансировать и множество новых исследований, и сдерживают их не деньги, а недостаток хороших исследователей, желающих заняться соответствующими вопросами[570].

Открылось и несколько научных институтов для исследования экзистенциального риска. Например, кембриджский Центр изучения экзистенциального риска (CSER) и оксфордский Институт будущего человечества (FHI), где работаю я[571]. Такие организации позволяют ученым-единомышленникам, представляющим разные дисциплины, вместе разрабатывать научные, этические и стратегические аспекты защиты человечества.

Чего делать не стоит

В этой главе говорится о том, что делать, чтобы защитить наше будущее. Но ничуть не менее полезно узнать, чего делать не стоит. Вот несколько примеров.

Не спешите с регулированием. В нужное время регулирование может стать весьма полезным инструментом для снижения экзистенциального риска. Но пока мы слишком плохо понимаем, как именно его осуществлять. Введение плохо продуманного регулирования стало бы большой ошибкой.

Не совершайте необратимых действий в одиночку. Некоторые контрмеры могут только усугубить наше положение (например, радикальная геоинженерия или публикация генома оспы). Не стоит забывать о проклятии односторонности (с.