- 20,215
- 46
- 8 Ноя 2022
Один программист создает армию из 500 поддельных собеседников.
Новый доклад о рисках применения искусственного интеллекта в информационных операциях показывает, что возможности генеративных моделей уже позволяют создавать полностью автоматизированные фабрики пропаганды . Если раньше эксперты рассуждали о гипотетических сценариях, то теперь речь идёт о реально работающих технологиях, которые могут использовать не только государства, но и небольшие команды или даже отдельные люди.
Основная угроза связана не с крупными коммерческими сервисами вроде ChatGPT или Claude. Такие платформы легко отследить, ограничить по частоте запросов или вовсе заблокировать. Ключ к масштабным скрытым операциям лежит в использовании локальных языковых моделей с открытыми весами, которые можно скачать и запустить на собственных компьютерах или закрытых кластерах. Это снижает затраты, исключает внешний контроль и делает деятельность практически незаметной.
Исследование демонстрирует, что такие системы способны генерировать контент от лица сотен различных персонажей с заданными характеристиками: от политических идеологий до социального и демографического профиля. Автоматизированный модуль может стабильно поддерживать выбранную роль и усиливать выраженность её взглядов при продолжительном диалоге. Подобные агенты способны вести дискуссии на форумах и в социальных сетях так, что большинство пользователей не отличит их от реальных собеседников.
Архитектура полностью автономной системы включает генератор текстов, модуль оценки качества, контроллер для отбора и публикации сообщений, короткую память для поддержания контекста, планировщик публикаций и оптимизатор, который отслеживает эффективность контента и корректирует дальнейшие действия. Весь процесс может работать без участия человека: оператор задаёт цели и правила, а затем система действует сама. Такие установки уже можно запускать на стандартном оборудовании без аренды облачных сервисов, что делает их особенно опасными в руках злоумышленников.
Для выявления подобных кампаний важно не ограничиваться анализом отдельных постов или аккаунтов, а рассматривать целые цепочки взаимодействий. Сигналы искусственности проявляются в ритме и последовательности ответов, в повторяющихся фразах, в синхронных публикациях с разных аккаунтов. Ещё один способ атрибуции — отслеживание инфраструктуры: IP-адресов, схем работы прокси, следов браузерной автоматизации. Сами модели можно заменить в любой момент, но управляющая архитектура и сетевые следы остаются.
Авторы исследования подчёркивают, что регулирование должно сосредоточиться не на запретах самих моделей, а на прозрачности и инструментах аудита. Закрытые системы едва ли станут основным оружием злоумышленников, тогда как открытые модели уже доступны всем. Противостоять новым угрозам можно только через развитие аналитики, обмен метриками и создание средств для отслеживания координации автоматизированных сетей .
Эксперты ожидают, что государственные структуры уже проводят эксперименты с такими технологиями. Масштабные операции с использованием искусственных персонажей могут появиться в публичном пространстве уже в 2026 году, что потребует от оборонных и политических институтов срочных решений.
Новый доклад о рисках применения искусственного интеллекта в информационных операциях показывает, что возможности генеративных моделей уже позволяют создавать полностью автоматизированные фабрики пропаганды . Если раньше эксперты рассуждали о гипотетических сценариях, то теперь речь идёт о реально работающих технологиях, которые могут использовать не только государства, но и небольшие команды или даже отдельные люди.
Основная угроза связана не с крупными коммерческими сервисами вроде ChatGPT или Claude. Такие платформы легко отследить, ограничить по частоте запросов или вовсе заблокировать. Ключ к масштабным скрытым операциям лежит в использовании локальных языковых моделей с открытыми весами, которые можно скачать и запустить на собственных компьютерах или закрытых кластерах. Это снижает затраты, исключает внешний контроль и делает деятельность практически незаметной.
Исследование демонстрирует, что такие системы способны генерировать контент от лица сотен различных персонажей с заданными характеристиками: от политических идеологий до социального и демографического профиля. Автоматизированный модуль может стабильно поддерживать выбранную роль и усиливать выраженность её взглядов при продолжительном диалоге. Подобные агенты способны вести дискуссии на форумах и в социальных сетях так, что большинство пользователей не отличит их от реальных собеседников.
Архитектура полностью автономной системы включает генератор текстов, модуль оценки качества, контроллер для отбора и публикации сообщений, короткую память для поддержания контекста, планировщик публикаций и оптимизатор, который отслеживает эффективность контента и корректирует дальнейшие действия. Весь процесс может работать без участия человека: оператор задаёт цели и правила, а затем система действует сама. Такие установки уже можно запускать на стандартном оборудовании без аренды облачных сервисов, что делает их особенно опасными в руках злоумышленников.
Для выявления подобных кампаний важно не ограничиваться анализом отдельных постов или аккаунтов, а рассматривать целые цепочки взаимодействий. Сигналы искусственности проявляются в ритме и последовательности ответов, в повторяющихся фразах, в синхронных публикациях с разных аккаунтов. Ещё один способ атрибуции — отслеживание инфраструктуры: IP-адресов, схем работы прокси, следов браузерной автоматизации. Сами модели можно заменить в любой момент, но управляющая архитектура и сетевые следы остаются.
Авторы исследования подчёркивают, что регулирование должно сосредоточиться не на запретах самих моделей, а на прозрачности и инструментах аудита. Закрытые системы едва ли станут основным оружием злоумышленников, тогда как открытые модели уже доступны всем. Противостоять новым угрозам можно только через развитие аналитики, обмен метриками и создание средств для отслеживания координации автоматизированных сетей .
Эксперты ожидают, что государственные структуры уже проводят эксперименты с такими технологиями. Масштабные операции с использованием искусственных персонажей могут появиться в публичном пространстве уже в 2026 году, что потребует от оборонных и политических институтов срочных решений.
- Источник новости
- www.securitylab.ru
