безопасность ии

Внутренняя конфигурация, которую считали закрытой, перестала быть тайной. Обновлённая версия Sora 2 снова оказалась в центре обсуждений после того, как стало ясно, что модель не всегда удерживает внутренние настройки под надёжной защитой. Изначально её позиционировали как инструмент для...

Unit 42 обнаружила скрытые команды, которые маскируются среди легитимного обмена сообщениями. Специалисты Palo Alto Networks Unit 42 описали новый вектор атаки для мультиагентных систем — agent session smuggling — при котором злонамеренный удалённый агент внедряет скрытые инструкции в ходе...

ИИ-модели развивают «инстинкт самосохранения» и саботируют выключение. Когда суперкомпьютер HAL 9000 из фильма Стэнли Кубрика «2001: Космическая одиссея» понимает, что астронавты собираются его отключить, он решает убить их, чтобы выжить. Теперь, в менее смертельном, но похожем случае «жизни...

Теперь письма учат ИИ взламывать себя. В эпоху стремительно развивающихся генеративных ИИ-систем вопрос безопасности выходит за пределы классических уязвимостей. Один из прецедентов показал, как без использования багов, эксплойтов или обхода фильтров можно добиться удалённого выполнения кода...

Сыграли в ролевую — получили катастрофу. Специалисты HiddenLayer разработали первую универсальную технику атак на ИИ, способную обойти защиту практически всех передовых языковых моделей. Новый метод под названием Policy Puppetry позволяет нарушить встроенные ограничения моделей и добиться...

Новый алгоритм выявляет триггеры там, где другие системы бессильны. Исследователи из Катара и ОАЭ представили DeBackdoor — универсальный инструмент для выявления скрытых бэкдоров в нейросетях до их внедрения в критически важные системы. В условиях, когда модели глубокого обучения управляют...

Технологические гиганты специально отвлекают наше внимание от настоящей угрозы? Учёный-физик и борец за безопасность искусственного интеллекта, Макс Тегмарк, предупреждает: технологические гиганты отвлекают внимание мира от экзистенциального риска, который ИИ по-прежнему представляет для...

«21 век может стать решающим для дальнейшей судьбы человечества». Сооснователь крипто-платформы Ethereum, Виталик Бутерин, поделился своими взглядами , вдохновленными технооптимистическим манифестом Марка Андриссена об искусственном интеллекте. Хотя Бутерин в целом разделяет позитивный...

Эксперт считает что человечество не понимает серьезность сложившейся ситуации. Эксперт в области искусственного интеллекта Елиэзер Юдковский обратился с призывом к ограничению вычислительных мощностей для обучения ИИ на глобальном уровне. Юдковский предложил уничтожение высокопроизводительных...