- 21,665
- 46
- 8 Ноя 2022
Вредоносная команда останется активной, пока вы сами не найдёте её и не удалите.
Новая уязвимость в экспериментальном браузере ChatGPT Atlas , созданном OpenAI, позволяет злоумышленникам незаметно внедрять вредоносные команды в память искусственного интеллекта и выполнять произвольный код от имени жертвы. Об этом предупредила команда LayerX, специализирующаяся на безопасности браузеров. В отчёте описан метод, при котором вредоносная инструкция внедряется не в сессию браузера, а в долгосрочную память самого ИИ-ассистента — механизм, впервые представленный в феврале 2024 года и предназначенный для хранения персональных предпочтений пользователя между чатами.
Атака начинается с социальной инженерии: пользователь, уже авторизованный в ChatGPT, переходит по специально подготовленной ссылке. Загруженная страница инициирует CSRF-запрос, пользуясь тем, что сессия активна, и сохраняет скрытую инструкцию в память ChatGPT. После этого любой последующий запрос к ассистенту может вызвать выполнение вредоносного кода, включая действия по повышению привилегий, загрузку внешних скриптов или передачу данных. Заражённая память сохраняется между сессиями и устройствами, включая разные браузеры, пока пользователь вручную не удалит соответствующую запись в настройках.
Разработчики LayerX отдельно подчёркивают, что атака не затрагивает браузерную сессию напрямую, а использует особенность самой памяти ChatGPT, превращая полезную функцию в долговременный канал внедрения команд. По словам главы исследовательского подразделения компании, при успешной подмене воспоминаний обычные запросы пользователя могут запускать незаметное выполнение вредоносных операций, не вызывая подозрений и обходя защитные механизмы.
Проблема усугубляется тем, что Atlas изначально слабо защищён от фишинга. В ходе сравнительного тестирования браузеров на устойчивость к более чем сотне реальных уязвимостей и вредоносных страниц, Atlas справился лишь с 5,8% атак, в то время как Edge остановил 53%, Chrome — 47%, а более нишевый Perplexity Comet — около 7% атак. Столь низкий показатель делает Atlas особенно уязвимым в корпоративной среде, где ИИ-агенты всё чаще становятся вектором утечки данных.
Ранее компания NeuralTrust уже продемонстрировала другой способ взлома Atlas через подмену URL в адресной строке. Это позволило обмануть ИИ и внедрить вредоносную команду, замаскированную под безопасный адрес. По мнению LayerX, такие атаки становятся новым типом цепочки поставок в мире ИИ — инструкции, внедрённые однажды, перемещаются вместе с пользователем и оказывают влияние на будущие рабочие процессы.
В условиях, когда браузеры с ИИ-функциями всё плотнее интегрируются в инфраструктуру и становятся частью повседневной работы, специалисты призывают рассматривать их как критически важный элемент безопасности — наравне с традиционными корпоративными системами. Иначе граница между полезной автоматизацией и скрытым внешним управлением может быть окончательно размыта.
Новая уязвимость в экспериментальном браузере ChatGPT Atlas , созданном OpenAI, позволяет злоумышленникам незаметно внедрять вредоносные команды в память искусственного интеллекта и выполнять произвольный код от имени жертвы. Об этом предупредила команда LayerX, специализирующаяся на безопасности браузеров. В отчёте описан метод, при котором вредоносная инструкция внедряется не в сессию браузера, а в долгосрочную память самого ИИ-ассистента — механизм, впервые представленный в феврале 2024 года и предназначенный для хранения персональных предпочтений пользователя между чатами.
Атака начинается с социальной инженерии: пользователь, уже авторизованный в ChatGPT, переходит по специально подготовленной ссылке. Загруженная страница инициирует CSRF-запрос, пользуясь тем, что сессия активна, и сохраняет скрытую инструкцию в память ChatGPT. После этого любой последующий запрос к ассистенту может вызвать выполнение вредоносного кода, включая действия по повышению привилегий, загрузку внешних скриптов или передачу данных. Заражённая память сохраняется между сессиями и устройствами, включая разные браузеры, пока пользователь вручную не удалит соответствующую запись в настройках.
Разработчики LayerX отдельно подчёркивают, что атака не затрагивает браузерную сессию напрямую, а использует особенность самой памяти ChatGPT, превращая полезную функцию в долговременный канал внедрения команд. По словам главы исследовательского подразделения компании, при успешной подмене воспоминаний обычные запросы пользователя могут запускать незаметное выполнение вредоносных операций, не вызывая подозрений и обходя защитные механизмы.
Проблема усугубляется тем, что Atlas изначально слабо защищён от фишинга. В ходе сравнительного тестирования браузеров на устойчивость к более чем сотне реальных уязвимостей и вредоносных страниц, Atlas справился лишь с 5,8% атак, в то время как Edge остановил 53%, Chrome — 47%, а более нишевый Perplexity Comet — около 7% атак. Столь низкий показатель делает Atlas особенно уязвимым в корпоративной среде, где ИИ-агенты всё чаще становятся вектором утечки данных.
Ранее компания NeuralTrust уже продемонстрировала другой способ взлома Atlas через подмену URL в адресной строке. Это позволило обмануть ИИ и внедрить вредоносную команду, замаскированную под безопасный адрес. По мнению LayerX, такие атаки становятся новым типом цепочки поставок в мире ИИ — инструкции, внедрённые однажды, перемещаются вместе с пользователем и оказывают влияние на будущие рабочие процессы.
В условиях, когда браузеры с ИИ-функциями всё плотнее интегрируются в инфраструктуру и становятся частью повседневной работы, специалисты призывают рассматривать их как критически важный элемент безопасности — наравне с традиционными корпоративными системами. Иначе граница между полезной автоматизацией и скрытым внешним управлением может быть окончательно размыта.
- Источник новости
- www.securitylab.ru
