На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

многие аспекты познания, включая логическое мышление, креативность, речь, принятие решений и обучение. Их вопросы и установки в итоге определили облик зарождающейся сферы искусственного интеллекта (ИИ). Свою конечную цель они видели в том, чтобы создать машину, чей интеллект мог бы сравниться с человеческим[394].

Несколько десятилетий спустя сфера ИИ упрочила свои позиции, но умерила амбиции. Наблюдаются серьезные успехи в логике, мышлении и играх, но в некоторых других областях прогресса нет вовсе. К 1980-м годам исследователи начали понимать эту закономерность успехов и провалов. Как ни странно, с задачами, выполнение которых мы считаем вершиной человеческого интеллекта (например, математическим анализом и игрой в шахматы), компьютеры справляются гораздо легче, чем с задачами, которые даются нам практически без труда (например, узнать кошку, понять простое предложение или поднять яйцо). В связи с этим, хотя в одних сферах ИИ значительно превосходил человеческие способности, в других он уступал даже двухлетнему ребенку[395]. Из-за невозможности добиться всестороннего прогресса многие исследователи ИИ отказались от изначальных целей по созданию общего интеллекта и стали ориентироваться на разработку специализированных методов для решения конкретных задач. Задачи более амбициозные списали на юношеский задор первооткрывателей в незрелой области исследований.

Но маятник начал обратный ход. С первых дней исследования ИИ ученые стремились создать системы, способные обучаться новым вещам без перепрограммирования. Одним из первых подходов к машинному обучению стало конструирование искусственных нейронных сетей, напоминающих строение человеческого мозга. В последнее десятилетие этот метод наконец начал развиваться. Их структура и принципы обучения стали технически совершеннее, базы данных – больше, а вычислительная мощность – выше, и это в совокупности позволило нам обучать гораздо более крупные и глубокие сети, чем когда-либо ранее[396].

Такое глубокое обучение дает сетям способность усваивать тонкие идеи и проводить различия. Теперь они не только в состоянии узнать кошку, но и лучше человека справляются с распознаванием разных кошачьих пород[397]. Они лучше нас узнают людей в лицо и различают идентичных близнецов[398].

И мы научились применять эти способности не только для распознавания и классификации. Системы глубокого обучения могут переводить с языка на язык почти на уровне профессионального переводчика. Они могут создавать изображения людей и животных с фотографической точностью. Могут говорить голосами людей, которых послушали всего несколько минут. И могут освоить точное непрерывное управление, например научиться водить машину или собирать конструктор лего с помощью роборуки[399].

Но, пожалуй, главным предвестником грядущего служит их способность обучаться играм. Игры занимали центральное положение в сфере ИИ со времени Дартмутской конференции. В результате непрерывного поступательного прогресса ИИ, который в 1957 году играл в шахматы на любительском уровне, в 1997 году вышел на сверхчеловеческий уровень, а затем, по сути, пошел дальше[400]. Для этого потребовался огромный объем специальных человеческих знаний о шахматной стратегии.

В 2017 году в шахматное дело вступило глубокое обучение, которое показало впечатляющие результаты. Команда исследователей из ИИ-компании DeepMind создала AlphaZero – основанную на нейронной сети систему, которая научилась играть в шахматы с нуля. Она прошла путь от новичка до гроссмейстера всего за четыре часа[401]. Потратив меньше времени, чем у профессионала уходит на две партии, она приобрела стратегическое знание, на овладение которым у людей ушли века, и стала играть лучше, чем самые способные люди и чем традиционные программы. К огромному удовольствию шахматистов, она играла не в скучном методическом стиле, который ассоциируют с компьютерными шахматами, а выбирала нестандартные и смелые ходы, напоминающие о романтической эпохе в истории этой игры[402].

Но что самое главное – AlphaZero умела не только играть в шахматы. Тот же самый алгоритм с нуля научился играть в го и за восемь часов значительно превзошел способности любого человека. Ведущие мировые игроки в го привыкли считать, что играют почти идеально, и потому разгромное поражение стало для них неожиданностью[403]. Действующий чемпион мира Кэ Цзе сказал: “Человечество потратило тысячи лет на совершенствование своей тактики, но теперь компьютеры говорят нам, что мы заблуждались… Я бы даже сказал, что никто из людей пока и близко не подобрался к истине го”[404].

Именно общий характер передового ИИ и производит на нас самое сильное впечатление, возрождая у исследователей амбиции догнать и превзойти человеческий интеллект по всем параметрам. Такой подход иногда называют созданием общего искусственного интеллекта (ОИИ), чтобы не путать его с более узкими подходами, господствующими в отрасли. Хотя нестареющие игры в шахматы и го лучше всего демонстрируют великолепие глубокого обучения, его размах стал очевиден при работе с видеоиграми Atari 1970-х годов. В 2015 году исследователи разработали алгоритм, способный научиться играть в десятки совершенно разных игр Atari гораздо лучше, чем человек[405]. В отличие от систем для шахмат и го, которые отталкиваются от символического представления игральной доски, системы для Atari обучались играм, ориентируясь непосредственно на счет и на пиксели на экране. Они доказывают возможность создания систем общего искусственного интеллекта, поскольку учатся управлять миром на основе необработанных визуальных данных и достигают своих целей во множестве разнообразных сред.

Этот рывок вперед за счет применения глубокого обучения вселяет в нас огромный оптимизм относительно того, что станет возможно в недалеком будущем. Стремительно растет и число исследователей ИИ, и объем венчурного финансирования, поступающий в отрасль[406]. Предприниматели стараются реализовать на практике каждый новый прорыв, от систем синхронного перевода, личных помощников и беспилотных автомобилей до изобретений, внушающих бо́льшую тревогу, таких как усовершенствованные системы наблюдения и смертоносное автономное вооружение. Настало время больших надежд и огромных этических трудностей. Высказываются серьезные опасения о том, что ИИ укореняет социальную дискриминацию, вызывает массовую безработицу, поддерживает слежку с репрессивными целями и нарушает принципы ведения войны. О каждом из этих опасений можно написать отдельную главу. Но в этой книге рассматриваются экзистенциальные риски, с которыми сталкивается человечество. Может ли развитие ИИ представлять риск такого огромного масштаба?

Рисунок 5.1. Показатели развития ИИ и уровня интереса к нему. Лица демонстрируют недавний стремительный прогресс в создании реалистических изображений “вымышленных” людей. Графики показывают долгосрочный прогресс шахматного ИИ, который в конце концов превзошел лучших гроссмейстеров (по рейтингу Эло), и недавний рост научной активности в отрасли, оцениваемой по числу статей, размещенных в arXiv, и посещаемости конференций[407].

С наибольшей вероятностью экзистенциальный риск возникнет в том случае, если исследователям ИИ удастся реализовать свои великие амбиции по созданию систем общего искусственного интеллекта, способности которых превзойдут человеческие. Но