На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

завершении у нас сохраняются все шансы на успех, его стоит признать темной эпохой нашей истории, а не истинной экзистенциальной катастрофой.

Лучше всего нам знакома вынужденная дистопия. Подъем экспансионистского тоталитаризма в середине XX века подтолкнул таких интеллектуалов, как Джордж Оруэлл, заговорить о возможности появления тоталитарного государства, которое добьется глобального господства и получит полный контроль над людьми, в результате чего мир окажется в плачевном состоянии[441]. Доказательством того, что такое теоретически возможно, служат режимы Гитлера и Сталина, каждый из которых постепенно превращался в имперскую сверхдержаву, сохраняя предельный контроль над своими гражданами[442]. Неясно, однако, были ли у Гитлера или Сталина амбиции подчинить себе весь мир, а также технические и социальные ресурсы для создания поистине устойчивых режимов[443].

Это может измениться. Технический прогресс дал нам множество новых инструментов, чтобы выявлять и подавлять протест, и есть все основания полагать, что в следующем столетии он продолжится. Особенно важным представляется развитие ИИ, которое позволяет осуществлять обстоятельный автоматизированный мониторинг всего происходящего в общественных местах – физических и виртуальных. Благодаря таким прорывам могут появиться гораздо более устойчивые режимы, чем в прошлом.

В то же время технологии дают людям и новые инструменты, чтобы восставать против власти, такие как интернет и шифрование сообщений. Возможно, баланс сил сохранится, а возможно, сместится в сторону свободы, но есть немалая вероятность, что он сдвинется в сторону усиления контроля над населением, в результате чего появление вынужденных дистопий станет реалистичным сценарием.

Второй тип необратимой дистопии – стабильная цивилизация, которую хотят немногие (если вообще хоть кто-то). Легко понять, как такой исход может стать дистопичным, однако не слишком очевидно, как мы можем к нему прийти или в нем застрять, если большинство людей (или вообще никто) его не хочет[444].

Ответ связан с различными силами, которые воздействуют на все население и могут оказывать влияние на глобальные исходы. К хорошо известным примерам относятся рыночные механизмы, запускающие гонку по нисходящей, мальтузианская демографическая динамика, снижающая среднее качество жизни, и эволюция, которая нацеливает нас на распространение собственных генов вне зависимости от того, как это сказывается на наших ценностях. Эти силы подталкивают человечество к новому балансу, который наконец приведет их в равновесие. Но никто не гарантирует, что этот баланс окажется благоприятным для человека.

Рассмотрим, например, противоречие между личным и общественным благом. В теории игр его изучают с помощью таких “игр”, как дилемма заключенного и трагедия общих ресурсов, где действия индивидов, которые руководствуются личными мотивами, приводят к ужасному исходу для общества. Равновесие Нэша (исход, к которому мы приходим, если руководствуемся личными мотивами) может быть для всех гораздо хуже, чем какой-нибудь другой результат, которого мы могли бы достичь, если бы смогли преодолеть личные интересы.

Самый известный пример – причинение ущерба окружающей среде, например ее загрязнение. Поскольку основная часть издержек загрязнения окружающей среды не ложится на плечи того, кто ее загрязняет, мы можем оказаться в ситуации, где в личных интересах каждого будет продолжать загрязнение несмотря на то, что в результате всем оказывается хуже. Лишь значительный нравственный прогресс и действенные политические инициативы помогли нам вырваться из этого состояния. Мы можем попасть и в другие ловушки, выбраться из которых окажется еще труднее. Это может произойти как на уровне индивидов, так и на уровне групп. Целые страны, идеологические блоки, даже планеты или виды, которые придут на смену Homo sapiens, могут оказаться в ситуации, когда будут поступать в интересах своей группы, но вредить всем группам в целом.

Я не знаю, насколько вероятно, что мы столкнемся с достаточно серьезной (и достаточно неуправляемой) трагедией общих ресурсов такого свойства. Или выродимся под давлением эволюции, или вынуждены будем жить в нищете из-за мальтузианской демографической динамики, или окажемся в другой подобной ситуации. Мне хочется надеяться, что мы сумеем предвидеть такие проблемы заранее и скоординировать свои действия, чтобы найти решение. Но сложно сказать наверняка, что у нас все получится.

Третий сценарий – “желанная дистопия”[445]. Здесь нам проще понять, как всеобщее желание достичь определенного результата может завести нас в тупик, но при этом не столь ясно, почему этот результат окажется дистопичным. Проблема в том, что существует множество привлекательных идей, способных радикально изменить наше будущее, и особенно сильны в этом отношении идеологии и моральные учения, поскольку они прямо говорят нам, какой мир мы должны создавать. В сочетании с техническими и социальными средствами для внушения таких же идей следующему поколению (индоктринация, слежка) это может привести к катастрофе.

История полна примеров, когда огромные пространства оказывались во власти ущербных идеологий и моральных установок. Более того, даже приемлемые нормативные установки часто требуют фиксации, ведь иначе конкурирующие установки могут одержать верх, что (предположительно) приведет к катастрофическому исходу[446]. Хотя самые оправданные моральные установки часто не противоречат друг другу в вопросе о том, какие мелкие изменения идут на благо, а какие – во вред миру, они, как правило, расходятся в описаниях оптимального мира для жизни. Таким образом, эта проблема перекликается с проблемой контроля ИИ, где упорное стремление к верному по большей части идеалу может обернуться катастрофой.

Вот несколько вполне правдоподобных примеров: миры, полностью отказавшиеся от дальнейшего технологического прогресса (что гарантирует нашу гибель при реализации природных рисков)[447]; миры, не признающие какую-либо ключевую форму вреда или несправедливости (и потому слепо потворствующие ей); миры, замкнувшиеся в единственной фундаменталистской религии, и миры, где мы намеренно заменяем себя чем-то, что гораздо менее ценно, хотя мы этого не понимаем (например, машинами, которые неспособны чувствовать)[448].

Все описанные необратимые дистопии можно считать заблокированными. Ключевые аспекты будущего цивилизации блокируются таким образом, что их становится практически невозможно изменить. Если мы оказываемся заблокированными в достаточно плохом наборе вариантов будущего, мы попадаем в необратимую дистопию – происходит экзистенциальная катастрофа.

Разумеется, мы сталкиваемся с подобным в меньших масштабах. Поправка Корвина к Конституции США – тревожный пример того, как люди попытались заблокировать ситуацию. В попытке задобрить Юг и избежать гражданской войны была предложена Тринадцатая поправка, которая должна была зафиксировать институт рабовладения, чтобы никакие будущие поправки к конституции не могли его отменить[449].

Я не вижу, каким образом мир мог бы погрузиться в дистопическое состояние в ближайшем будущем[450]. Однако по мере развития технологий и взаимосвязанности разных частей мира вероятность заблокированной дистопии, пожалуй, возрастет до заметного уровня в следующую сотню лет. Более того, я полагаю, что в отдаленном будущем на такие исходы, возможно, будет приходиться изрядная