На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

самых энергоемких событий или самых долговечных сложных структур во Вселенной.

121

Как объяснялось ранее в этой главе, дело не в том, что значение имеют только люди, а в том, что только люди являются моральными агентами.

122

Я полагаю, что весьма полезно рассматривать ситуацию в таком ракурсе, ведь это дает возможность узнать даже больше, чем я способен проанализировать в своей книге. Надеюсь, другие подхватят мою инициативу и пойдут гораздо дальше, чем получилось у меня.

123

До недавних пор теория о том, как принимать решения в случае, если мы сомневаемся в моральной ценности результата, почти не рассматривалась в философии морали несмотря на то, что именно отсутствие определенности в вопросах морали подталкивает людей обращаться за советами в этой сфере и вообще изучать философию морали.

В своей работе я стараюсь исправить ситуацию (Greaves & Ord, 2017; MacAskill & Ord, 2018; MacAskill, Bykvist & Ord, готовится к публикации).

124

Ник Бустрём (2013, p. 24) особенно удачно сформулировал эту мысль: “Вполне возможно, что наши современные представления об аксиологии ошибочны. Сегодня мы можем не знать – по крайней мере, не знать в деталях, – какие итоги будут считаться большой победой для человечества; быть может, мы еще не умеем даже вообразить лучшие варианты окончания нашего пути. Если мы действительно понятия не имеем, каковы наши итоговые цели, то нам следует признать, что есть большая потенциальная выгода в сохранении – а лучше в повышении – нашей способности распознавать преимущества и направлять будущее в нужное русло. Обеспечить существование новой версии человечества, обладающей большой силой и способной рационально использовать ее, – это достоверно лучший из доступных нам способов повысить ценность будущего. Для этого мы должны не допустить никакой экзистенциальной катастрофы”.

Думаю, условие достоверности здесь очень важно. Я не говорю, что этот аргумент, основанный на неопределенности, работает даже в том случае, если вы в высшей степени уверены, что мы не обязаны оберегать свое будущее. Базой для такого аргумента, вероятно, может послужить и ожидаемая выгода, но я остерегаюсь аргументов, связанных с ожидаемой выгодой, когда вероятности чрезвычайно малы и плохо изучены (см. Bostrom, 2009).

125

Даже если придерживаться мрачной точки зрения, полагая, что значимы лишь неблагоприятные исходы, все равно продолжить путь, поскольку человечество, возможно, способно предотвратить неблагоприятные исходы в других точках Земли, а также в других областях космоса, где зародилась жизнь.

126

Иными словами, защита нашего будущего имеет огромную ценность отложенной альтернативы. Двигаясь по этому пути, мы сохраняем способность в будущем выбрать то, что окажется лучшим вариантом, когда у нас появится больше данных. Неимоверную ценность обретают и сами эти данные, будь то эмпирическая информация о наших перспективах или сведения о том, какие из гипотетических моральных соображений выдержали проверку временем. Разумеется, ценность отложенной альтернативы ограничивается той степенью, в которой будущее, по нашим прикидкам, окажется восприимчиво к новой информации о том, что лучше с точки зрения морали.

Подробнее о моральной ценности отложенной альтернативы и ценности информации морального характера с точки зрения всего человечества пишут Bostrom (2013, p. 24), MacAskill (2014), а также Williams (2015), который обобщает эту мысль: “…нам следует считать интеллектуальный прогресс того типа, который позволит нам как можно скорее находить и исправлять свои ошибки морального характера, первоочередным моральным приоритетом, а не просто роскошью; и нам также следует признать важность экономии ресурсов и повышения гибкости, чтобы тогда, когда настанет время изменить свои принципы, мы смогли бы сделать это быстро и безболезненно”.

127

Эти мысли прекрасно излагает Sagan (1994).

128

Бюджет на 2019 год составил 1,4 млн долларов (BWC ISU, 2019). В период с 2016 по 2018 год расходы на содержание ресторанов, управляемых компанией McDonald’s, составляли в среднем 2,8 млн долларов на ресторан ежегодно (McDonald’s Corporation, 2018, pp. 14, 20). Компания не сообщает о расходах на содержание ресторанов, открытых по франшизе.

129

По оценке Farquhar (2017), общемировые расходы на снижение экзистенциального риска от ИИ в 2017 году составили 9 млн долларов. После этого они значительно возросли, возможно в 2–3 раза. Я уверен, что расходы в 2020 году составили от 10 до 50 млн долларов.

По оценке IDC (2019), общемировые расходы на ИИ в 2019 году достигнут 36 млрд долларов и значительная их часть пойдет на расширение способностей ИИ. [По информации русскоязычного издания “Коммуникации в ИТ-бизнесе”, общемировые расходы на мировом рынке технологий искусственного интеллекта (ИИ) в 2021 году составили 383 млрд долларов, а в 2022 году превысят 450 млрд долларов (см. https://www.dailycomm.ru/m/54690/, дата посещения 3 ноября 2022 г.). – Прим. науч. ред.]

130

В 2018 году объем мирового рынка мороженого оценивался в 60 млрд долларов (IMARC Group, 2019), или ~0,07 % валового мирового продукта (World Bank, 2019a).

Точно определить, сколько мы тратим на охрану своего будущего, нелегко. Я склоняюсь к простейшей формуле и учитываю лишь расходы, направленные на снижение экзистенциального риска. В этих рамках я оцениваю общемировые расходы примерно в 100 млн долларов.

Борьба с изменением климата показывает, насколько сложно определить, какие именно расходы нас интересуют. По одной из оценок, общемировые расходы на борьбу с изменением климата составляют около 400 млрд долларов (~0,5 % валового мирового продукта) (Buchner et al., 2017). Скорее всего, это завышенная оценка экономических издержек, поскольку большая часть средств идет на производство возобновляемой энергии, хотя в ином случае значительная доля этого шла бы на строительство невозобновляемых мощностей. Кроме того, как мы увидим в главе 4, экзистенциальный риск, связанный с изменением климата, главным образом проистекает из самых радикальных сценариев потепления. Следовательно, неясно, сколько в среднем долларов, расходуемых на борьбу с изменением климата, идет на снижение экзистенциального риска. Подобные трудности возникают и при оценке риска искусственной пандемии: США направляют на обеспечение биологической безопасности 1,6 млрд долларов из федерального бюджета, но лишь малая часть этой суммы в итоге пойдет на защиту от худших пандемий (Watson et al., 2018).

Не считая борьбы с изменением климата, совокупные расходы на обеспечение биологической безопасности и снижение природных рисков, а также рисков, связанных с ИИ и ядерной войной, все равно оказываются ниже наших расходов на мороженое. А непосредственно на снижение экзистенциального риска, я уверен, не тратится и десятой части этой суммы.