- 21,870
- 46
- 8 Ноя 2022
Вредонос с клавиатурой из облака — смешно и страшно одновременно.
Команда Google Threat Intelligence Group (GTIG) опубликовала обновлённый анализ , из которого следует — злоумышленники перешли от простого использования искусственного интеллекта для ускорения рутинных задач к внедрению моделей прямо в малварь, что открывает новую фазу злоупотреблений: «just-in-time» генерация кода и динамическая модификация поведения вредоносных программ. В своём докладе GTIG подробно описывает обнаруженные семейства ПО, способы обхода ограничений моделей, примеры государственно-поддерживаемых группировок и меры, которые компания уже применила для нейтрализации активности и укрепления защит в своих моделях.
GTIG фиксирует первые образцы малвари, которые обращаются к LLM-моделям во время выполнения — наиболее яркие примеры получили внутренние трекеры PROMPTFLUX и PROMPTSTEAL.
PROMPTFLUX — экспериментальный дроппер на VBScript, который через API обращается к модели Gemini, запрашивая обфускацию собственного кода и перезаписывая себя в автозагрузке; у него есть модуль «Thinking Robot», регулярно запрашивающий у модели новые варианты обхода антивирусов.
PROMPTSTEAL — упаковка на Python, использующая API платформы Hugging Face и модель Qwen2.5-Coder-32B-Instruct для генерации однострочных команд Windows, которые затем выполняются локально для сбора системной информации и документов. GTIG оценивает
PROMPTFLUX как находящийся в стадии разработки, тогда как PROMPTSTEAL уже применялся в операциях и ассоциируется с атакующей группой APT28 (FROZENLAKE), причём часть активности получила подтверждение от CERT-UA под меткой LAMEHUG.
Также в отчёте перечислены и другие образцы:
FRUITSHELL — публичный PowerShell-реверс-шелл с подсказками для обхода LLM-защит;
PROMPTLOCK — концепт-вымпел программ-шифровальщика на Go, использующий LLM для генерации Lua-скриптов;
QUIETVAULT — JS-валидатор, ворующий токены GitHub/NPM и выгружающий результаты через публичные репозитории.
Все эти примеры демонстрируют разные подходы к интеграции ИИ: от регенерации и обфускации к генерации команд и поиску секретов на хосте. GTIG отмечает, что некоторые механизмы пока не активны (закомментированы) и служат лабораторной заготовкой для будущих реализаций, но сигнал о направлении развития угроз уже очевиден.
Отдельно в отчёте рассматривается приём, при котором злоумышленники используют нарративы в рамках социальной инженерии в запросах к моделям, чтобы обойти защитные ответы. GTIG задокументировал сценарии, в которых акторы представляются участниками CTF-соревнований или студентами, что заставляет модель выдавать технически полезную информацию, которая в иных контекстах блокируется. Аналогичные уловки применяли TEMP.Zagros (MUDDYCOAST) и другие группы, а одна из таких ошибок операционной безопасности привела к раскрытию C2-доменов и ключей шифрования прямо в диалогах с моделью, что помогло исследователям перебить инфраструктуру злоумышленников.
Отчёт подчёркивает, что государственно-спонсируемые акторы из КНДР, Ирана и КНР продолжают внедрять генеративные инструменты по всей цепочке атак: разведка, подготовка фишинговых материалов, разработка C2, расширенная эксфильтрация. Примеры включают UNC1069 (MASAN), нацеленный на кражу криптоактивов и создание дипфейков, UNC4899 (PUKCHONG), который использовал модели для разработки эксплойтов и планирования атак на цепочки поставок, и APT41 , применявший Gemini для помощи при разработке кода и обфускации. APT42 пыталась сконструировать «агента обработки данных», который переводил бы естественные запросы в SQL-запросы для извлечения чувствительной информации — попытки, которые GTIG заблокировал, отключив учётные записи.
Кроме технических приёмов, GTIG отмечает зрелость подпольного рынка: в 2025 году появились многофункциональные инструменты и сервисы, предлагающие генерацию фишинговых писем, создание дипфейков, автоматическую генерацию малвари и подписки с доступом к API. Рынок адаптирует коммерческие модели легитимных сервисов — бесплатные базовые версии с платными подписками для расширенных функций и доступом к сообществам в Discord. Это снижает барьер входа и даёт менее опытным злоумышленникам мощные возможности.
GTIG детально описывает методики эксплуатации LLM-интерфейсов: вредоносные программы могут вставлять в себя жёстко закодированные ключи API, запрашивать «последний стабильный релиз» модели для устойчивости к списанию старых версий, требовать вывод «только кода» в формате, пригодном для автоматического исполнения, и логировать ответы модели для последующего анализа. Такие техники повышают живучесть и адаптивность малвари, делая классические сигнатурные средства защиты менее эффективными.
В ответ на эти угрозы Google сообщает о многоплановых мерах: отключение активов злоумышленников, совместная работа DeepMind и GTIG над усилением классификаторов и встроенных ограничений моделей, внедрение фреймворка Secure AI Framework (SAIF) и открытие наборов инструментов для разработчиков по безопасной разработке ИИ, а также применение агентов наподобие Big Sleep для автоматического поиска уязвимостей и экспериментального CodeMender для автоматического исправления критических ошибок в коде. GTIG подчёркивает, что многие инциденты были нейтрализованы именно благодаря операционной разведке и оперативным действиям по отключению учётных записей и инфраструктуры.
В докладе также описаны практические рекомендации для защитников: мониторинг аномальной активности API-ключей, обнаружение необычных обращений к внешним LLM-сервисам из процессов, контроль целостности исполняемых файлов, усиление процедур защиты секретов на хостах и отказ от слепого исполнения команд, сгенерированных внешними моделями. GTIG указывает, что важная роль остаётся за оперативным обменом информацией между провайдерами, исследователями и правоохранительными органами, что уже помогло остановить ряд кампаний.
Наконец, GTIG предупреждает — текущие примеры носят экспериментальный характер, но направление развития угроз ясно: ИИ делает малварь более адаптивной, а подполье — более доступным. Компания подчёркивает ответственность отрасли и призывает к стандартизации безопасных практик разработки и развертывания ИИ-систем, чтобы минимизировать риски массового внедрения подобных техник.
Команда Google Threat Intelligence Group (GTIG) опубликовала обновлённый анализ , из которого следует — злоумышленники перешли от простого использования искусственного интеллекта для ускорения рутинных задач к внедрению моделей прямо в малварь, что открывает новую фазу злоупотреблений: «just-in-time» генерация кода и динамическая модификация поведения вредоносных программ. В своём докладе GTIG подробно описывает обнаруженные семейства ПО, способы обхода ограничений моделей, примеры государственно-поддерживаемых группировок и меры, которые компания уже применила для нейтрализации активности и укрепления защит в своих моделях.
GTIG фиксирует первые образцы малвари, которые обращаются к LLM-моделям во время выполнения — наиболее яркие примеры получили внутренние трекеры PROMPTFLUX и PROMPTSTEAL.
PROMPTFLUX — экспериментальный дроппер на VBScript, который через API обращается к модели Gemini, запрашивая обфускацию собственного кода и перезаписывая себя в автозагрузке; у него есть модуль «Thinking Robot», регулярно запрашивающий у модели новые варианты обхода антивирусов.
PROMPTSTEAL — упаковка на Python, использующая API платформы Hugging Face и модель Qwen2.5-Coder-32B-Instruct для генерации однострочных команд Windows, которые затем выполняются локально для сбора системной информации и документов. GTIG оценивает
PROMPTFLUX как находящийся в стадии разработки, тогда как PROMPTSTEAL уже применялся в операциях и ассоциируется с атакующей группой APT28 (FROZENLAKE), причём часть активности получила подтверждение от CERT-UA под меткой LAMEHUG.
Также в отчёте перечислены и другие образцы:
FRUITSHELL — публичный PowerShell-реверс-шелл с подсказками для обхода LLM-защит;
PROMPTLOCK — концепт-вымпел программ-шифровальщика на Go, использующий LLM для генерации Lua-скриптов;
QUIETVAULT — JS-валидатор, ворующий токены GitHub/NPM и выгружающий результаты через публичные репозитории.
Все эти примеры демонстрируют разные подходы к интеграции ИИ: от регенерации и обфускации к генерации команд и поиску секретов на хосте. GTIG отмечает, что некоторые механизмы пока не активны (закомментированы) и служат лабораторной заготовкой для будущих реализаций, но сигнал о направлении развития угроз уже очевиден.
Отдельно в отчёте рассматривается приём, при котором злоумышленники используют нарративы в рамках социальной инженерии в запросах к моделям, чтобы обойти защитные ответы. GTIG задокументировал сценарии, в которых акторы представляются участниками CTF-соревнований или студентами, что заставляет модель выдавать технически полезную информацию, которая в иных контекстах блокируется. Аналогичные уловки применяли TEMP.Zagros (MUDDYCOAST) и другие группы, а одна из таких ошибок операционной безопасности привела к раскрытию C2-доменов и ключей шифрования прямо в диалогах с моделью, что помогло исследователям перебить инфраструктуру злоумышленников.
Отчёт подчёркивает, что государственно-спонсируемые акторы из КНДР, Ирана и КНР продолжают внедрять генеративные инструменты по всей цепочке атак: разведка, подготовка фишинговых материалов, разработка C2, расширенная эксфильтрация. Примеры включают UNC1069 (MASAN), нацеленный на кражу криптоактивов и создание дипфейков, UNC4899 (PUKCHONG), который использовал модели для разработки эксплойтов и планирования атак на цепочки поставок, и APT41 , применявший Gemini для помощи при разработке кода и обфускации. APT42 пыталась сконструировать «агента обработки данных», который переводил бы естественные запросы в SQL-запросы для извлечения чувствительной информации — попытки, которые GTIG заблокировал, отключив учётные записи.
Кроме технических приёмов, GTIG отмечает зрелость подпольного рынка: в 2025 году появились многофункциональные инструменты и сервисы, предлагающие генерацию фишинговых писем, создание дипфейков, автоматическую генерацию малвари и подписки с доступом к API. Рынок адаптирует коммерческие модели легитимных сервисов — бесплатные базовые версии с платными подписками для расширенных функций и доступом к сообществам в Discord. Это снижает барьер входа и даёт менее опытным злоумышленникам мощные возможности.
GTIG детально описывает методики эксплуатации LLM-интерфейсов: вредоносные программы могут вставлять в себя жёстко закодированные ключи API, запрашивать «последний стабильный релиз» модели для устойчивости к списанию старых версий, требовать вывод «только кода» в формате, пригодном для автоматического исполнения, и логировать ответы модели для последующего анализа. Такие техники повышают живучесть и адаптивность малвари, делая классические сигнатурные средства защиты менее эффективными.
В ответ на эти угрозы Google сообщает о многоплановых мерах: отключение активов злоумышленников, совместная работа DeepMind и GTIG над усилением классификаторов и встроенных ограничений моделей, внедрение фреймворка Secure AI Framework (SAIF) и открытие наборов инструментов для разработчиков по безопасной разработке ИИ, а также применение агентов наподобие Big Sleep для автоматического поиска уязвимостей и экспериментального CodeMender для автоматического исправления критических ошибок в коде. GTIG подчёркивает, что многие инциденты были нейтрализованы именно благодаря операционной разведке и оперативным действиям по отключению учётных записей и инфраструктуры.
В докладе также описаны практические рекомендации для защитников: мониторинг аномальной активности API-ключей, обнаружение необычных обращений к внешним LLM-сервисам из процессов, контроль целостности исполняемых файлов, усиление процедур защиты секретов на хостах и отказ от слепого исполнения команд, сгенерированных внешними моделями. GTIG указывает, что важная роль остаётся за оперативным обменом информацией между провайдерами, исследователями и правоохранительными органами, что уже помогло остановить ряд кампаний.
Наконец, GTIG предупреждает — текущие примеры носят экспериментальный характер, но направление развития угроз ясно: ИИ делает малварь более адаптивной, а подполье — более доступным. Компания подчёркивает ответственность отрасли и призывает к стандартизации безопасных практик разработки и развертывания ИИ-систем, чтобы минимизировать риски массового внедрения подобных техник.
- Источник новости
- www.securitylab.ru
