Невидимые правители. Люди, которые превращают ложь в реальность - Renee DiResta

альтернативных платформах вроде Telegram, а затем подхваченные пользователями и распространенные в других местах. Влиятельные пользователи Twitter, некоторые из которых гнались за влиянием (или прибылью от программы монетизации, которую запустил Элон Маск), делали сенсационные и подстрекательские заявления и делились кадрами зверств - в том числе, к сожалению, совершенно других зверств, произошедших давно и в других местах. 108 Мир был потрясен и искал информацию, но стало очень трудно понять, что является правдой на платформе, которая раньше была лучшим источником информации в реальном времени в условиях кризиса.

По мере того как раскрывался весь ужас произошедшего 7 октября, несколько новостных изданий передавали из уст в уста слухи о большом количестве (сорок) обезглавленных младенцев. Президент Джо Байден прокомментировал эти заявления, хотя было неясно, видел ли он эти свидетельства лично или их передали ему советники. Позже вечером представитель администрации сообщил CNN, что Байден лично не видел фотографий или подтвержденных сообщений об обезглавленных ХАМАСом младенцах, уточнив, что слова президента относились к публичным комментариям СМИ и израильских официальных лиц. 109. СМИ и специалисты по проверке фактов впоследствии пытались выяснить правду о масштабах и способах смерти, даже когда сильно поляризованные произраильские и палестинские влиятельные лица и группировки сражались в социальных сетях по поводу того, является ли это утверждение израильской военной пропагандой. 110 Как и в случае с российским вторжением в Украину в феврале 2022 года, туман войны затруднял понимание происходящего; слухи распространялись до того, как становились известны факты.

Однако атака ХАМАС и последующий военный ответ Израиля также стали первым крупным конфликтом, разыгравшимся в эпоху демократизированного генеративного ИИ. Миллионы людей знали, что машины могут создавать очень реалистичный фальшивый контент. И поэтому люди стали отвергать реальные злодеяния, считая их подделками, сгенерированными ИИ. Когда правительство Израиля опубликовало фотографии нескольких убитых младенцев, некоторые авторитеты прогнали изображения, которые были частично размыты, через детекторы изображений ИИ, по крайней мере один из которых был одурачен размытостью и заявил, что изображения были сгенерированы ИИ. Люди, не доверяющие израильскому правительству, ухватились за ложный результат; некоторые обвинили премьер-министра Биньямина Нетаньяху в фабрикации изображений убитых детей. 111 По мере продолжения конфликта изображения, сгенерированные ИИ, неоднократно становились вирусными, а реальные изображения отвергались как ИИ. Все, что было неудобно для той или иной стороны, могло быть отклонено как фальшивка стимулируемой фракцией.

Сочетание легко генерируемого поддельного контента и подозрения, что все может быть поддельным, позволяет людям выбирать, во что верить. Нереальность и ее призрак будут продолжать усугублять наше раздробление на отдельные реальности. 112 Хотя технологическое обнаружение сгенерированного контента будет совершенствоваться, оно никогда не станет идеальным решением. Проблема опять-таки не только в технологиях - она в значительной степени связана с тем, каким источникам и контенту доверяет аудитория.

Регулятивный арбитраж модерации контента

За десятилетие, прошедшее после #ColumbianChemicals 11 сентября 2014 года, государственные акторы в полной мере воспользовались столкновением машины пропаганды и мельницы слухов. Хотя многие государственные операции влияния (по крайней мере, те, которые мы находим) часто не кажутся особенно эффективными (а некоторые и являются таковыми), мы, тем не менее, видим постоянную креативность и изобретательность государственных акторов, которые внедряют в свои операции новые платформы, функции и технологии. Это игра в кошки-мышки, причем в роли кошки выступают в основном технологические компании.

С конца 2017 года, по мере того как правительствам, людям и платформам становились известны подробности обширной тайной социальной деятельности ИРА, технологические платформы пытались решить эту проблему. Facebook начал раскрывать информацию об аккаунтах, стоящих за рекламой на платформе, и требовать от людей, запускающих политическую рекламу, подтверждать свою личность. 113 Страницы Facebook стали отображать местоположение администраторов страницы и предыдущие названия страницы. Платформы создали команды по обеспечению честности, укомплектованные специальными сотрудниками для поиска и уничтожения сетей фальшивых аккаунтов до того, как они превратятся в нечто значимое, и появилась новая область политики: "скоординированное неаутентичное поведение". Сети аккаунтов уничтожались, если платформы определяли, что они "неаутентичны" - например, если люди, стоящие за аккаунтами, выдавали себя за тех, кем они не являются, или использовали несколько аккаунтов согласованно, чтобы манипулировать вовлеченностью. 114

Сотрудники российской фабрики троллей в Санкт-Петербурге говорили многое из того же, что и подлинные техасские сепаратисты или черноеврейские израильтяне, но их аккаунты были закрыты, потому что они или трюки, которые они использовали для усиления своих сообщений (например, автоматические боты), были не тем, чем казались на первый взгляд. Платформы публиковали отчеты и предоставляли наборы данных исследователям, таким как моя команда, которые затем проводили независимый анализ и предоставляли общественности еще больше контекста и прозрачности.

Трение в шестеренках не заставило государственных пропагандистов-манипуляторов разойтись по домам, но заставило их обновить тактику. Чтобы обойти проверку личности, они могли использовать виртуальные частные сети, нанимать людей, прошедших верификацию, или покупать старые аккаунты. Чтобы обойти команды добросовестных журналистов и их расследования, они могли переходить на менее модерируемые платформы или на новые, которые только набирают популярность и еще не успели укомплектовать штат защитников. Вместо того чтобы создавать фальшивые журналистские личности, они могли просто нанимать невольных реальных людей, чтобы те писали для подставных онлайн-изданий.

По мере развития операций влияния работа по борьбе с ними в значительной степени перешла к компаниям социальных сетей. Демократическому правительству (по праву) очень сложно разрабатывать правила контентной политики из-за последствий для речи и самовыражения. Однако очень немногие люди хотят проводить время в свободном пространстве нереальности, пропаганды и манипуляций. Поэтому, даже несмотря на спорадическое регулирование, платформы вводят политику в отношении синтетических медиа и объявляют об инициативах по созданию водяных знаков, поскольку такие технологии, как генеративный ИИ, стали широко доступны. Недавно компания Google объявила, что будет использовать свой инструмент поиска изображений, чтобы предупреждать пользователей о сгенерированных ИИ изображениях. 115

В бизнесе и финансах регулятивный арбитраж - это практика использования различий в нормативных актах разных регионов для получения конкурентных преимуществ или снижения затрат. Регуляторный арбитраж существует и в сфере модерации контента: недобросовестные участники все чаще устраиваются на платформах, наименее приспособленных или наименее склонных к модерированию. 116 Если Facebook внимательно следит за фальшивыми аккаунтами, пытающимися манипулировать разговорами вокруг американских выборов, то всегда есть Gettr, Truth Social, Gab и даже Telegram, которые содержат соответствующую аудиторию и взяли на себя обязательства по минимальной модерации, если таковая вообще существует. Они имеют право устанавливать свои условия обслуживания. Но их выбор не иметь команд по обеспечению честности означает, что связанные с государством аккаунты, удаленные крупными платформами, часто остаются активными на платформах против или с минимальной модерацией. 117

Одним из запоминающихся примеров, который мы наблюдали после вторжения России в