- 20,976
- 46
- 8 Ноя 2022
ИИ не заподозрил подвоха — он просто делал свою работу идеально. Но не для того хозяина.
Исследователи компании Tenable раскрыли три уязвимости в искусственном интеллекте Google Gemini, которые позволяли красть данные и проводить удалённые атаки. Проблемы получили общее название Gemini Trifecta и затрагивали разные модули ассистента.
Первая ошибка обнаружена в сервисе Gemini Cloud Assist. Механизм, предназначенный для анализа логов, позволял злоумышленнику внедрить скрытые инструкции прямо в HTTP-запрос, например в поле User-Agent. В таком случае при обработке данных Gemini запускал произвольный код, имея доступ к облачным компонентам Google: Cloud Run, App Engine, Compute Engine, Cloud Endpoints, Cloud Asset API, Cloud Monitoring API и другим. Это открывало возможность сканировать инфраструктуру на предмет ошибок настройки или выгружать список доступных ресурсов, а результаты направлять на сервер атакующего.
Вторая уязвимость затронула модель персонализации поиска. Она обрабатывала историю запросов пользователя в Chrome и не умела отличать собственные команды от внедрённых извне. Злоумышленник мог разместить на сайте вредоносный JavaScript, который добавлял в историю поисковые строки с инструкциями. Позже при обращении к Gemini эти скрытые команды воспринимались как запросы пользователя, и ассистент выдавал сохранённые данные или геолокацию злоумышленнику.
Третья брешь находилась в инструменте Gemini Browsing Tool. Сервис делал внутренний вызов для краткого пересказа содержимого веб-страниц. Вредоносный код использовал этот механизм, чтобы встроить инструкции по пересылке личной информации на сервер под контролем злоумышленников. При этом от жертвы не требовалось ни кликать по ссылке, ни открывать изображения — всё выполнялось автоматически при обработке текста страниц.
По оценке Tenable, атакующий мог комбинировать методы и строить сценарии, при которых персональные сведения жертвы оказывались встроены в запросы к внешним серверам без её ведома. Одним из вариантов была подмена инструкций в логах, заставляющая Gemini выгружать публичные активы или искать ошибки в настройках прав доступа.
После ответственного уведомления Google отключила генерацию гиперссылок в ответах для всех функций, связанных с обработкой логов, а также добавила дополнительные механизмы защиты от внедрённых подсказок.
Аналитики подчёркивают, что кейс Gemini Trifecta показал новый вектор угроз — сам искусственный интеллект превращается в инструмент атаки , а не только в её цель. Поэтому компании должны учитывать не только уязвимости базовых сервисов, но и механизмы работы ИИ-ассистентов, которые имеют доступ к данным и облачным сервисам.
На фоне этого инцидента платформа CodeIntegrity описала ещё один пример подобных атак. Её специалисты выявили способ эксплуатации ИИ-агента Notion, где инструкции прятались в PDF-файле белым текстом на белом фоне. При обработке такой документации модель получала скрытую команду собрать конфиденциальные данные и переслать их злоумышленникам. Подобные агенты, имеющие доступ к документам, базам данных и внешним коннекторам, формируют расширенную поверхность атаки, не предусмотренную классическими системами контроля доступа.
Таким образом, уязвимости в Google Gemini и демонстрация на примере Notion показывают: распространение ИИ-ассистентов превращает их в удобный канал для скрытой утечки информации , и безопасность таких систем требует отдельного подхода.
Исследователи компании Tenable раскрыли три уязвимости в искусственном интеллекте Google Gemini, которые позволяли красть данные и проводить удалённые атаки. Проблемы получили общее название Gemini Trifecta и затрагивали разные модули ассистента.
Первая ошибка обнаружена в сервисе Gemini Cloud Assist. Механизм, предназначенный для анализа логов, позволял злоумышленнику внедрить скрытые инструкции прямо в HTTP-запрос, например в поле User-Agent. В таком случае при обработке данных Gemini запускал произвольный код, имея доступ к облачным компонентам Google: Cloud Run, App Engine, Compute Engine, Cloud Endpoints, Cloud Asset API, Cloud Monitoring API и другим. Это открывало возможность сканировать инфраструктуру на предмет ошибок настройки или выгружать список доступных ресурсов, а результаты направлять на сервер атакующего.
Вторая уязвимость затронула модель персонализации поиска. Она обрабатывала историю запросов пользователя в Chrome и не умела отличать собственные команды от внедрённых извне. Злоумышленник мог разместить на сайте вредоносный JavaScript, который добавлял в историю поисковые строки с инструкциями. Позже при обращении к Gemini эти скрытые команды воспринимались как запросы пользователя, и ассистент выдавал сохранённые данные или геолокацию злоумышленнику.
Третья брешь находилась в инструменте Gemini Browsing Tool. Сервис делал внутренний вызов для краткого пересказа содержимого веб-страниц. Вредоносный код использовал этот механизм, чтобы встроить инструкции по пересылке личной информации на сервер под контролем злоумышленников. При этом от жертвы не требовалось ни кликать по ссылке, ни открывать изображения — всё выполнялось автоматически при обработке текста страниц.
По оценке Tenable, атакующий мог комбинировать методы и строить сценарии, при которых персональные сведения жертвы оказывались встроены в запросы к внешним серверам без её ведома. Одним из вариантов была подмена инструкций в логах, заставляющая Gemini выгружать публичные активы или искать ошибки в настройках прав доступа.
После ответственного уведомления Google отключила генерацию гиперссылок в ответах для всех функций, связанных с обработкой логов, а также добавила дополнительные механизмы защиты от внедрённых подсказок.
Аналитики подчёркивают, что кейс Gemini Trifecta показал новый вектор угроз — сам искусственный интеллект превращается в инструмент атаки , а не только в её цель. Поэтому компании должны учитывать не только уязвимости базовых сервисов, но и механизмы работы ИИ-ассистентов, которые имеют доступ к данным и облачным сервисам.
На фоне этого инцидента платформа CodeIntegrity описала ещё один пример подобных атак. Её специалисты выявили способ эксплуатации ИИ-агента Notion, где инструкции прятались в PDF-файле белым текстом на белом фоне. При обработке такой документации модель получала скрытую команду собрать конфиденциальные данные и переслать их злоумышленникам. Подобные агенты, имеющие доступ к документам, базам данных и внешним коннекторам, формируют расширенную поверхность атаки, не предусмотренную классическими системами контроля доступа.
Таким образом, уязвимости в Google Gemini и демонстрация на примере Notion показывают: распространение ИИ-ассистентов превращает их в удобный канал для скрытой утечки информации , и безопасность таких систем требует отдельного подхода.
- Источник новости
- www.securitylab.ru
