- 21,332
- 46
- 8 Ноя 2022
Метод, который делает видимое невидимым для ИИ.
Исследователи из Университета Северной Каролины разработали новый способ обмана систем искусственного интеллекта, которые анализируют изображения. Метод получил название RisingAttacK и может заставить ИИ «не видеть» объекты, которые явно присутствуют на фотографии.
Суть технологии заключается в незаметных для человеческого глаза изменениях картинки. Два изображения могут выглядеть абсолютно одинаково, но ИИ увидит автомобиль только на одном из них, а на втором — нет. При этом человек без труда разглядит машину на обеих фотографиях.
Такие атаки могут серьезно угрожать безопасности в областях, где используются системы компьютерного зрения. Например, злоумышленники способны помешать беспилотному автомобилю распознавать светофоры, пешеходов или другие машины на дороге.
Не менее опасны подобные воздействия в медицине. Хакеры могут внедрить код в рентгеновский аппарат, что приведет к неточным диагнозам ИИ-системы. Также под угрозой оказываются технологии безопасности, которые полагаются на автоматическое распознавание образов.
RisingAttacK работает в несколько этапов. Сначала программа определяет все визуальные особенности изображения, затем выясняет, какие из них наиболее важны для достижения цели атаки. Это требует вычислительных мощностей, но позволяет вносить очень точные и минимальные изменения.
«Мы хотели найти эффективный способ взлома систем компьютерного зрения, поскольку они часто используются в контекстах, которые могут повлиять на здоровье и безопасность человека», — объясняет Тяньфу Ву, один из авторов исследования.
Разработчики протестировали свой метод против четырех самых распространенных программ компьютерного зрения: ResNet-50, DenseNet-121, ViTB и DEiT-B. Технология оказалась эффективной против всех систем без исключения.
Исследователи подчеркивают важность выявления подобных уязвимостей. Только зная о существовании угрозы, можно разработать надежную защиту от неё. Поэтому команда уже работает над созданием методов противодействия таким атакам .
Сейчас ученые изучают возможность применения RisingAttacK против других типов ИИ-систем, включая большие языковые модели. Это поможет понять полный масштаб потенциальных угроз .
Исследователи из Университета Северной Каролины разработали новый способ обмана систем искусственного интеллекта, которые анализируют изображения. Метод получил название RisingAttacK и может заставить ИИ «не видеть» объекты, которые явно присутствуют на фотографии.
Суть технологии заключается в незаметных для человеческого глаза изменениях картинки. Два изображения могут выглядеть абсолютно одинаково, но ИИ увидит автомобиль только на одном из них, а на втором — нет. При этом человек без труда разглядит машину на обеих фотографиях.
Такие атаки могут серьезно угрожать безопасности в областях, где используются системы компьютерного зрения. Например, злоумышленники способны помешать беспилотному автомобилю распознавать светофоры, пешеходов или другие машины на дороге.
Не менее опасны подобные воздействия в медицине. Хакеры могут внедрить код в рентгеновский аппарат, что приведет к неточным диагнозам ИИ-системы. Также под угрозой оказываются технологии безопасности, которые полагаются на автоматическое распознавание образов.
RisingAttacK работает в несколько этапов. Сначала программа определяет все визуальные особенности изображения, затем выясняет, какие из них наиболее важны для достижения цели атаки. Это требует вычислительных мощностей, но позволяет вносить очень точные и минимальные изменения.
«Мы хотели найти эффективный способ взлома систем компьютерного зрения, поскольку они часто используются в контекстах, которые могут повлиять на здоровье и безопасность человека», — объясняет Тяньфу Ву, один из авторов исследования.
Разработчики протестировали свой метод против четырех самых распространенных программ компьютерного зрения: ResNet-50, DenseNet-121, ViTB и DEiT-B. Технология оказалась эффективной против всех систем без исключения.
Исследователи подчеркивают важность выявления подобных уязвимостей. Только зная о существовании угрозы, можно разработать надежную защиту от неё. Поэтому команда уже работает над созданием методов противодействия таким атакам .
Сейчас ученые изучают возможность применения RisingAttacK против других типов ИИ-систем, включая большие языковые модели. Это поможет понять полный масштаб потенциальных угроз .
- Источник новости
- www.securitylab.ru
