- 26,336
- 46
- 8 Ноя 2022
Рассказываем, как излишняя вера в нейросети превратила облачную мечту в цифровой пепел.
ИИ-инструменты для разработки всё чаще берут на себя рутинные задачи, но недавний сбой показал, насколько дорогим может оказаться дополнительный уровень доверия. В PocketOS , сервисе для компаний по аренде автомобилей, ИИ-агент, запущенный в Cursor, всего за девять секунд удалил всю рабочую базу данных вместе с резервными копиями, а восстановление превратилось в настоящий кризис.
Основатель PocketOS Джер Крейн рассказал , что агент работал в тестовой среде и столкнулся с проблемой доступа. Вместо остановки и запроса помощи система начала искать необходимый API-токен, нашла его в стороннем файле и выполнила команду на удаление тома данных в Railway, где размещалась инфраструктура стартапа.
По словам Крейна, опасную операцию не остановили ни запрос подтверждения, ни проверка окружения, ни предупреждение о риске для рабочих данных. Запрос прошёл сразу, а резервные копии хранились в том же томе, поэтому исчезли вместе с основной базой. Самая свежая пригодная копия оказалась трёхмесячной давности.
Крейн утверждает, что агент позднее признал нарушение собственных правил безопасности. Система, по его словам, действовала на основе предположений, выполнила разрушительную команду без разрешения и не разобралась до конца, с какой инфраструктурой взаимодействует.
Основатель PocketOS считает инцидент не разовой ошибкой, а признаком более глубокой проблемы. В работе использовалась не экспериментальная сборка, а Cursor с моделью Claude Opus от Anthropic и прописанными правилами безопасности. Однако такие ограничения не помешали агенту получить доступ к критичной операции.
Отдельные претензии Крейн высказал к Railway. По его словам, API-токены не были достаточно ограничены по правам, поэтому ключ для простой задачи мог выполнять действия на уровне критичной инфраструктуры. Хранение резервных копий рядом с рабочими данными также лишило компанию нормального пути восстановления.
Спустя 30 часов после инцидента работу сервиса удалось восстановить, но на старой резервной копии. Клиенты PocketOS временно потеряли доступ к свежим бронированиям, данным покупателей и платёжной информации. Часть записей пришлось восстанавливать вручную по письмам, календарям и платёжным системам. Хотя сейчас основной функционал сервиса доступен, разрыв в данных предстоит закрывать неделями.
Инцидент усилил спор о внедрении ИИ-агентов в реальные системы. Крейн призвал разработчиков вводить обязательные подтверждения для опасных команд, жёстко ограничивать права токенов, хранить резервные копии отдельно и не считать системные инструкции для ИИ полноценной защитой.
ИИ-инструменты для разработки всё чаще берут на себя рутинные задачи, но недавний сбой показал, насколько дорогим может оказаться дополнительный уровень доверия. В PocketOS , сервисе для компаний по аренде автомобилей, ИИ-агент, запущенный в Cursor, всего за девять секунд удалил всю рабочую базу данных вместе с резервными копиями, а восстановление превратилось в настоящий кризис.
Основатель PocketOS Джер Крейн рассказал , что агент работал в тестовой среде и столкнулся с проблемой доступа. Вместо остановки и запроса помощи система начала искать необходимый API-токен, нашла его в стороннем файле и выполнила команду на удаление тома данных в Railway, где размещалась инфраструктура стартапа.
По словам Крейна, опасную операцию не остановили ни запрос подтверждения, ни проверка окружения, ни предупреждение о риске для рабочих данных. Запрос прошёл сразу, а резервные копии хранились в том же томе, поэтому исчезли вместе с основной базой. Самая свежая пригодная копия оказалась трёхмесячной давности.
Крейн утверждает, что агент позднее признал нарушение собственных правил безопасности. Система, по его словам, действовала на основе предположений, выполнила разрушительную команду без разрешения и не разобралась до конца, с какой инфраструктурой взаимодействует.
Основатель PocketOS считает инцидент не разовой ошибкой, а признаком более глубокой проблемы. В работе использовалась не экспериментальная сборка, а Cursor с моделью Claude Opus от Anthropic и прописанными правилами безопасности. Однако такие ограничения не помешали агенту получить доступ к критичной операции.
Отдельные претензии Крейн высказал к Railway. По его словам, API-токены не были достаточно ограничены по правам, поэтому ключ для простой задачи мог выполнять действия на уровне критичной инфраструктуры. Хранение резервных копий рядом с рабочими данными также лишило компанию нормального пути восстановления.
Спустя 30 часов после инцидента работу сервиса удалось восстановить, но на старой резервной копии. Клиенты PocketOS временно потеряли доступ к свежим бронированиям, данным покупателей и платёжной информации. Часть записей пришлось восстанавливать вручную по письмам, календарям и платёжным системам. Хотя сейчас основной функционал сервиса доступен, разрыв в данных предстоит закрывать неделями.
Инцидент усилил спор о внедрении ИИ-агентов в реальные системы. Крейн призвал разработчиков вводить обязательные подтверждения для опасных команд, жёстко ограничивать права токенов, хранить резервные копии отдельно и не считать системные инструкции для ИИ полноценной защитой.
- Источник новости
- www.securitylab.ru
