- 26,508
- 46
- 8 Ноя 2022
Последствия такой беспечности проявятся в самый неподходящий момент.
Компании давно научились вести учёт программных компонентов, но ИИ быстро усложнил привычную картину. В корпоративных системах появились модели, агенты, промпты, датасеты и внешние инструменты, о которых служба безопасности нередко узнаёт уже после запуска. Так «теневое IT» уступает место «теневому ИИ», а для контроля новой среды всё чаще предлагают AI-BOM — перечень ИИ-компонентов и связей между ними.
Обычный SBOM (Software Bill of Materials) показывает программные пакеты и зависимости. AI-BOM (Artificial Intelligence Bill of Materials) должен учитывать то, что создаёт и использует ИИ: модели, датасеты, SDK-библиотеки, MCP-серверы, ML-фреймворки, агентов, их навыки, промпты и другие элементы. Такой перечень помогает понять, как компоненты связаны с рабочими процессами и какие риски появляются внутри инфраструктуры.
В Palo Alto Networks считают, что без такой видимости компания не может понять, что именно нужно защищать. Иэн Суонсон из подразделения ИИ-безопасности компании сравнил корпоративный ИИ с тортом неизвестного происхождения: неизвестны ни рецепт, ни ингредиенты, ни повар. Несмотря на это, организации продолжают использовать такие «ингредиенты» — от официально разрешённых моделей до внешних чат-ботов, вайб-кодинг-платформ и агентов, которых сотрудники запускают самостоятельно.
Cisco ранее открыла свой AI-BOM для сканирования кодовых баз, контейнерных образов и облачных сред. Теперь компания выпустила Model Provenance Kit — инструмент для проверки происхождения моделей. По данным Cisco, он сравнивает модели по метаданным, структуре токенизатора и признакам на уровне весов, помогая понять, от какой базовой модели могла произойти доработанная версия, например от <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Meta</span> Llama 4 или Alibaba Qwen3. Для поиска родственных моделей Cisco также подготовила базу отпечатков примерно 150 базовых моделей из более чем 45 семейств и от свыше 20 издателей.
Проверка происхождения нужна не только ради безопасности. Если продукт частично построен на модели из другой юрисдикции, у компании могут появиться регуляторные риски. В Европе AI Act требует документировать данные для обучения, методику и оценку рисков для систем высокого риска.
Wiz предлагает смотреть шире и включать в AI-BOM не только финальное приложение, но и инструменты на рабочих станциях разработчиков, которые участвовали в создании ИИ-системы. Компания также обращает внимание на нечеловеческие учётные записи, связанные с агентами, моделями и сервисами, включая их права доступа.
AI-BOM может помочь и при атаках на цепочку поставок . Злоумышленники уже используют ИИ для разведки, поиска открытых конечных точек и управления инфраструктурой атак. В одном инциденте, который расследовала Palo Alto Networks, преступники получили доступ к системным промптам внутренней ИИ-нагрузки и изменили инструкции так, чтобы система выполняла нежелательные действия, включая кражу данных и отправку на внешний адрес.
Если компания фиксирует состояние ИИ-системы и отслеживает изменения, подозрительная правка промпта, подмена навыка агента или вредоносная версия библиотеки становятся заметнее. На фоне атак на npm, PyPI и компоненты, часто используемые в ИИ-приложениях, AI-BOM превращается из аккуратной инвентарной таблицы в рабочий инструмент защиты.
Компании давно научились вести учёт программных компонентов, но ИИ быстро усложнил привычную картину. В корпоративных системах появились модели, агенты, промпты, датасеты и внешние инструменты, о которых служба безопасности нередко узнаёт уже после запуска. Так «теневое IT» уступает место «теневому ИИ», а для контроля новой среды всё чаще предлагают AI-BOM — перечень ИИ-компонентов и связей между ними.
Обычный SBOM (Software Bill of Materials) показывает программные пакеты и зависимости. AI-BOM (Artificial Intelligence Bill of Materials) должен учитывать то, что создаёт и использует ИИ: модели, датасеты, SDK-библиотеки, MCP-серверы, ML-фреймворки, агентов, их навыки, промпты и другие элементы. Такой перечень помогает понять, как компоненты связаны с рабочими процессами и какие риски появляются внутри инфраструктуры.
В Palo Alto Networks считают, что без такой видимости компания не может понять, что именно нужно защищать. Иэн Суонсон из подразделения ИИ-безопасности компании сравнил корпоративный ИИ с тортом неизвестного происхождения: неизвестны ни рецепт, ни ингредиенты, ни повар. Несмотря на это, организации продолжают использовать такие «ингредиенты» — от официально разрешённых моделей до внешних чат-ботов, вайб-кодинг-платформ и агентов, которых сотрудники запускают самостоятельно.
Cisco ранее открыла свой AI-BOM для сканирования кодовых баз, контейнерных образов и облачных сред. Теперь компания выпустила Model Provenance Kit — инструмент для проверки происхождения моделей. По данным Cisco, он сравнивает модели по метаданным, структуре токенизатора и признакам на уровне весов, помогая понять, от какой базовой модели могла произойти доработанная версия, например от <span class="extremist-highlight" title="Соцсеть признана экстремистской и запрещена на территории РФ">Meta</span> Llama 4 или Alibaba Qwen3. Для поиска родственных моделей Cisco также подготовила базу отпечатков примерно 150 базовых моделей из более чем 45 семейств и от свыше 20 издателей.
Проверка происхождения нужна не только ради безопасности. Если продукт частично построен на модели из другой юрисдикции, у компании могут появиться регуляторные риски. В Европе AI Act требует документировать данные для обучения, методику и оценку рисков для систем высокого риска.
Wiz предлагает смотреть шире и включать в AI-BOM не только финальное приложение, но и инструменты на рабочих станциях разработчиков, которые участвовали в создании ИИ-системы. Компания также обращает внимание на нечеловеческие учётные записи, связанные с агентами, моделями и сервисами, включая их права доступа.
AI-BOM может помочь и при атаках на цепочку поставок . Злоумышленники уже используют ИИ для разведки, поиска открытых конечных точек и управления инфраструктурой атак. В одном инциденте, который расследовала Palo Alto Networks, преступники получили доступ к системным промптам внутренней ИИ-нагрузки и изменили инструкции так, чтобы система выполняла нежелательные действия, включая кражу данных и отправку на внешний адрес.
Если компания фиксирует состояние ИИ-системы и отслеживает изменения, подозрительная правка промпта, подмена навыка агента или вредоносная версия библиотеки становятся заметнее. На фоне атак на npm, PyPI и компоненты, часто используемые в ИИ-приложениях, AI-BOM превращается из аккуратной инвентарной таблицы в рабочий инструмент защиты.
- Источник новости
- www.securitylab.ru
