Age of Danger - Andrew Hoehn

космическая одиссея". Теперь мир населен HAL.

"Итак, [сейчас] ИИ составляет 10 процентов от того, чем он будет", - объяснил Эрик Шмидт, бывший генеральный директор Google, который беседовал с нами из своего офиса в Северной Вирджинии. В прошлом бизнесмен, сейчас он занимается благотворительностью и консультирует правительство о том, как подготовиться к миру проблем, связанных с ИИ.

Шмидт много писал о перспективах искусственного интеллекта. В книге, написанной им в соавторстве с Генри Киссинджером и Дэниелом Хаттенлохером, они описывают перспективы искусственного интеллекта, влияние, которое он окажет на нашу жизнь, и то, как он будет формировать взаимодействие между людьми и между странами.

В нашей беседе со Шмидтом он сосредоточился на более коварной стороне ИИ. Он не описывал, как ИИ обыграет шахматных мастеров мира или как его можно будет использовать для сочинения музыки. Мир, который описывал Шмидт, не был тем, в котором каждый компьютер обладает потенциалом творческого мышления. Скорее, он сосредоточился на том, как горстка компьютеров будет обладать способностью приносить огромное благо или огромный вред. Не раз он говорил: "Мы находимся в 10 процентах. Впереди нас 90 процентов".

Шмидт описал нам будущее, когда компьютеры будут действовать как люди и сами будут решать, над чем им работать. "В какой-то момент, некоторые люди говорят о двадцати годах, но не скоро, появятся системы, с которыми вы сможете разговаривать, которые будут отвечать вам, и, в отличие от нынешних систем, они смогут выбирать свою объективную функцию. Другими словами, они сами будут решать, над чем им работать".

Шмидт быстро исправился. "Они" - это неправильное название. Они" - это компьютеры, а не люди. Он сам решит, над чем ему работать".

Он сказал, что таких компьютеров не будет много, потому что их создание и эксплуатация будут очень дорогими. Системы, которые он описывает, не будут результатом работы творческих умов в каком-нибудь гараже, создающих новый компьютер. Это не будут переделки Стива Джобса и Стива Возняка. Они станут прерогативой государств.

Далее он описал нам леденящий душу сценарий: "Допустим, будет десять компьютеров. Я придумаю число. А теперь скажем, что два или три в Китае, два или три в США, один в Израиле, один в Европе, может быть, один в России, кто знает?".

Шмидт продолжил: "Каков будет характер доступа к этому компьютеру? Потому что с таким компьютером вы можете сказать: "Я хочу знать, я хочу, чтобы вы изобрели способ убить миллион людей, которые не принадлежат к моей расе". Хорошо, и вы говорите: "Ну, очевидно, что вам следует сделать то, что вы должны иметь переднюю часть, которая не позволяет делать такие запросы". Хорошо, тогда мы запретим этот запрос. Хорошо. Но поскольку это общая разговорная система, средний человек может продолжать пытаться, пока не добьется того, чтобы она действительно поняла, чего он хочет, и тогда она это сделает".

Продолжайте спрашивать, пока компьютер не ответит, независимо от того, как он был разработан. Похоже, это еще один вопрос человеческой ошибки, а не ошибки компьютера.

"Таким образом, проблема распространения выглядит следующим образом. Вы должны выяснить, как не допустить попадания этого потенциала в руки плохих людей, а также сдерживать его использование плохим управлением. Итак, предположим, например, что Северная Корея крадет китайскую ракету, что она делает с помощью какого-то относительно простого механизма. Им удалось доставить его в Северную Корею, они сумели включить его, и теперь они заняты тем, что пытаются его использовать. Какова же архитектура сдерживания, чтобы не дать им его включить? Эти вопросы совершенно не изучены".

В некотором смысле Шмидт воспроизводит первые годы ядерной эры, но он хочет сделать это с гораздо большей продуманностью. Прошло почти десять лет ядерной эры, прежде чем возникла дисциплина ядерного сдерживания, прежде чем у нас появились такие термины, как "стабильность второго удара" и MAD, прежде чем "Доктор Стрейнджлав" стал частью лексикона.

Шмидт видит потенциально пугающее будущее, и он хочет сделать тяжелую работу сейчас, пока мы не сорвались в пропасть. Люди достаточно коварны. Шмидт не стремится отдать компьютеры на волю самых мрачных человеческих мыслей.

"Они более мощные, у них больше данных, они могут начать делать вещи, которые мы еще не придумали, как предотвратить".

Шмидт посылает предупреждение. Машина не готова к машине.

Эрик Шмидт - не единственный человек, посылающий предупреждение. В 2018 году Кай-Фу Ли написал книгу под названием "Сверхспособности ИИ". Ли вырос на Тайване и имеет глубокие корни в технологической индустрии и Кремниевой долине. Он возглавлял Google China, пока Google не решил уйти из Китая. Он написал книгу "Сверхспособности ИИ", чтобы озвучить свое собственное предупреждение, и это предупреждение - страшное. Он не оспаривает мнение Шмидта о состоянии ИИ в современном мире - что мы видим только 10 процентов потенциала - но он считает, что Китай дает особые преимущества в конкурентной борьбе.

Ли сравнивает ИИ с первыми днями появления электричества. Как только Эдисон завладел электричеством, невозможно было сказать, как оно изменит современную жизнь. Принести свет во тьму - это одно. Дать энергию машинам - совсем другое. В первые дни появления электричества Эдисон еще не знал, что оно будет использоваться для охлаждения продуктов, стирки и сушки одежды, перемещения людей с земли на вершины самых высоких зданий в мире, перемещения людей по городам на поездах, регулирования дорожного движения и, в конечном счете, для обеспечения энергией человеческого мышления.

Далее он переходит к обсуждению более широкого состояния игры в мире, который он называет "глубоким обучением". Вначале он отмечает, что когда-то это было явным преимуществом США. Большие идеи в мире ИИ исходили из США и Канады. Это было в то время, которое он называет периодом открытий. Но далее он говорит, что мы больше не находимся в периоде открытий. Сейчас мы находимся в периоде внедрения. "В эпоху открытий прогресс двигала горстка элитных мыслителей, практически все из которых были сосредоточены в США и Канаде. Их исследовательская проницательность и уникальные интеллектуальные инновации привели к внезапному и монументальному росту того, что могут делать компьютеры".

Но теперь мы знаем, на что способны компьютеры, и в этой области произошел сдвиг. "Сегодня для успешной работы алгоритмов ИИ необходимы три вещи: большие данные, вычислительная мощность и работа сильных, но не обязательно элитных, инженеров по алгоритмам ИИ". В каждой из этих трех областей, по его мнению, Китай имеет явное преимущество. В предыдущих технологических революциях преимущество получали изобретатели - первые, кто обладал навыками и ноу-хау и применял их на практике. Ли не видит такого преимущества в этой