Государство строгого режима. Внутри китайской цифровой антиутопии - Джеффри Кейн

и думают, что мы террористы, – подтверждала Майсем. – А вот Китай может попытаться повлиять на то, как история подается во всем мире, посылая свою пропаганду в ООН, где ее никто не цензурирует. Когда я сидела в лагере, то понятия не имела, знает ли кто-нибудь за его пределами о происходящем, и это было удручающе. Как будто мы были белым пятном на карте».

[ ]

В ноябре 2019‐го, спустя три года после заключения в лагере, беседуя с нами в Анкаре, Майсем взяла в руки экземпляр книги «1984».

«Этот человек был таким умным… Как англичанин мог семьдесят лет назад написать книгу, предсказавшую мой опыт? Война – это мир, свобода – это рабство, незнание – сила», – повторила она мантру вымышленной страны Океании. – Это очень глубокие слова. Джордж Оруэлл видел будущее. Он видел наш мир, мир уйгурского народа. Он пишет о стратегии новояза».

«Новояз использовался всеми видами авторитарных правительств, – сказал я. – Чем отличается ситуация уйгуров?»

«Технологии. У нас было много авторитарных правительств со времен публикации „1984“ [в июне 1949 года], – ответила Майсем. – Советский Союз, Китай времен Мао, Северная Корея, железный занавес. Но отличие этой истории в том, что наши технологии наконец-то дошли до нужного уровня, чтобы воплощать в жизнь научно-фантастические книги, вплоть до точного совпадения изобретений, которые, по мнению авторов прошлого, должны были возникнуть в будущем».

«Когда технологии объединяются со старой доброй тактикой авторитаризма, все то, о чем говорил Оруэлл – новояз, большие экраны, по которым крутят партийную пропаганду, суровые наказания и концентрационные лагеря, постоянный надзор за населением, – резко усугубляется. Тогда правители использовали власть и насилие для подавления своего народа. Сегодня, с развитием технологий, им больше не нужно насилие. Они могут контролировать население, промывать людям мозги и лишать человечности, чтобы превратить их в рабов», – объяснила Майсем.

«Как в паноптиконе?» – поинтересовался я, вспомнив термин, которым другие уйгуры и эксперты по авторитаризму описывали этот режим.

«Именно, – ответила Майсем. – Но в прежние времена для паноптикона требовался охранник-человек. Люди могут заснуть, совершить ошибку, может быть, проявить некоторое сострадание. Это несовершенная система».

«В нашем новом мире искусственного интеллекта ставки намного выше. Мы не всегда понимаем, как машина делает свои выводы о людях. Однажды вы можете опоздать на урок, – продолжала она. – Машина будет наблюдать за вами через объектив камеры и каким-то образом, используя собранные со всей страны данные, придет к заключению, что вы собираетесь кого-нибудь ограбить. Тогда примчится полиция и задержит вас в рамках программы предиктивного полицейского контроля».

«Но полицейские, как мне пришлось узнать, не всегда думают о том, что они делают. Они всего лишь выполняют приказы. А как только мы, люди, отказываемся от критического мышления, начинаются проблемы», – добавила Майсем.

[ ]

Заключение в лагере позволило Майсем многое узнать о системах наблюдения в концентрационных лагерях. Время от времени один самодовольный партийный чинуша любил похвастаться перед заключенными возможностями лагеря, желая припугнуть их или, как думала Майсем, неким извращенным способом произвести на них впечатление.

«Мы можем услышать и увидеть все, – говорил девушке этот тюремщик. – На полу расположены сенсоры. Мы знаем, куда люди ходят. Мы знаем, когда они мочатся. Камеры – повсюду, и они знают, что делает каждый. Мы видим любую мелочь. Даже то, что ты пишешь…»

А еще была система искусственного интеллекта – всего лишь фрагмент общей надзорной системы «Скайнет», раскинутой по всему Китаю. Порой охранники объясняли, на что она способна.

«Она может понять, что вы бездельничаете на уроке, – рассказывал один из них. – Она видит, когда вы усердно работаете. Так система искусственного интеллекта помогает нам разобраться, как поступить с каждым из заключенных».

Камеры были установлены в женских туалетах и душевых. Охранники-мужчины, рассказывала Майсем, наблюдали за происходящим и слышали каждый звук. Однажды ей удалось заглянуть в открытую дверь диспетчерской, где располагались мониторы, на которые выводились записи с камер лагеря, и самой в этом убедиться.

Майсем с опаской относилась к другим заключенным и сводила свое общение с ними до минимума: она никому не доверяла. Тюремная камера и внутренний двор, столовая и классная комната – все словно было окутано серым облаком компьютеризации. Люди были машинами, а машины – людьми, воспринимающими окружающий мир посредством технологий распознавания лиц, – по крайней мере, так казалось Майсем.

«У людей не было ни личности, ни сущности, ни души, – рассказывала она мне. – Я начала осознавать, что машины стали больше походить на людей, чем сами люди. По сути, правительство сказало нам, что полностью контролирует нашу безопасность. Они понимали, что такое „большой мозг“ и как он работает. Они контролировали технологии, и поэтому нам приходилось подчиняться их воле».

[ ]

Становление надзорного государства принесло огромную финансовую выгоду китайским компаниям, занимающимся вопросами ИИ. В декабре 2016 года стартап в области технологий распознавания лиц Megvii, пятью годами ранее основанный бывшими сотрудниками Microsoft Research Asia, получил от инвесторов 100 млн долларов. Tencent, разработчик WeChat, стоимость которой на начало года оценивалась в 180 млрд долларов, устроила инвестиционный кутеж, влив более 21 млрд в стартапы из самых разных областей – от онлайн-игр до агрегаторов такси и секвенирования генома.

Разрозненные китайские стартапы, накапливающие богатство и влияние, наконец обрели потенциал для создания общенациональной экосистемы, способной слить воедино большие данные, распознавание лиц и искусственный интеллект.

Развитие ИИ в Китае подстегнуло го, любимая настольная игра китайцев.

Долгое время специалисты в области ИИ считали го безнадежно сложной игрой (в ней используется 361 камень), для которой нельзя написать софт, способный победить человека. Количество возможных позиций на доске превышает количество атомов в наблюдаемой Вселенной, а значит, искусственному интеллекту потребовались бы невероятная вычислительная мощность и способность к распознаванию образов.

В 2014 году Google, инвестировавшая в развитие ИИ с самого начала своей деятельности в 1998‐м, приобрела стартап DeepMind. Основанная тремя блестящими инженерами, включая шахматиста-вундеркинда, компания DeepMind создала программу искусственного интеллекта под названием AlphaGo.

Программисты хотели проверить, сможет ли AlphaGo самостоятельно, без помощи человека, научиться играть в эту сложнейшую игру. Для этой цели они разработали новую версию программы AlphaGo, которая не нуждалась в том, чтобы в нее закладывали информацию. Она должна была самостоятельно изучить игру, а затем сразиться с чемпионами мира.

Дальше произошло нечто поразительное. После семидесяти часов игры сама с собой новая программа AlphaGo достигла такого уровня, что оказалась способна побеждать лучших игроков-людей. Затем, после перезагрузки, AlphaGo потребовалось всего сорок дней, чтобы освоить всю сумму знаний человечества об игре го. После этого она обыгрывала свою предыдущую самую продвинутую версию в 90% случаев.

Разработчики были озадачены. Даже они плохо понимали, как новой версии AlphaGo удалось добиться такого прогресса за столь короткое время.

Эти открытия могли иметь огромные последствия для будущего. Если ИИ сопоставимого уровня применить в других областях, он сможет изменить то, как мы работаем, живем, водим машину, ходим за покупками, принимаем пищу и даже как ведем переговоры и воюем. Система ИИ AlphaGo близко имитирует мышление, лежащее в основе ведения войн, и в конечном счете может получить применение на поле боя. В Китае мало задумывались об этом, пока AlphaGo не была проверена в игре против сильнейших игроков мира, большинство из которых проживали в Восточной Азии.

«Как выяснилось, люди только мешали системе. Настоящим достижением было создание такой системы, которая способна мыслить совершенно по-новому и принимать собственные решения, – писала специалист в области технологий прогнозирования Эми Уэбб. – Внезапный, неожиданный рывок, предвещающий будущее, когда системы искусственного интеллекта смогут проводить раннюю диагностику онкологических заболеваний, оценивать климатические данные и анализировать проблему бедности способами, отличными от человеческих, потенциально приводя к открытиям, до которых люди сами никогда бы не додумались».

К тому времени, когда AlphaGo на моих глазах обыгрывала в го восемнадцатикратного победителя международных турниров,