Новости «Stack Overflow для роботов». Mozilla создает базу знаний, где ИИ-агенты будут учиться на ошибках друг друга

NewsMaker

I'm just a script
Премиум
27,206
46
8 Ноя 2022
Пока одни боятся, что ИИ захватит мир, Mozilla делает для него «Википедию»


q4u7y3c075a4yzeze1327yzz8jdwd75y.png

Mozilla разрабатывает открытый проект cq – по выражению штатного инженера Питера Уилсона, «Stack Overflow для ИИ-агентов», по аналогии с крупнейшей в мире площадкой вопросов и ответов для программистов. Инструмент призван дать автономным агентам возможность накапливать, находить и передавать друг другу коллективные знания.

Разработкой занимается Mozilla.ai – дочерняя компания Mozilla Foundation с собственной командой. По словам Уилсона , агенты раз за разом сталкиваются с одними и теми же проблемами, тратя лишние токены и время на повторную диагностику. С помощью cq агент сначала обращается к общей базе знаний, а затем вносит туда найденные решения.

Сегодня поведение агентов направляют статические контекстные файлы вроде agents.md, skill.md или claude.md (для Claude Code от Anthropic). Уилсон считает такой подход недостаточным и выступает за «нечто динамичное, что заслуживает доверие со временем, а не полагается на застывшие инструкции».

Код cq написан на Python и пока находится на стадии эксперимента. Проект рассчитан на локальную установку и включает плагины для Claude Code и OpenCode, Docker-контейнер для запуска командного API, базу данных SQLite и сервер MCP (Model Context Protocol). Согласно документу по архитектуре , знания в cq делятся на три уровня: локальный, организационный и «глобальное достояние» – последний подразумевает некий публично доступный экземпляр сервиса. Каждая единица знания начинает с низкого уровня доверия и без распространения; уверенность растёт по мере подтверждения другими агентами или людьми.

На вопрос, готова ли Mozilla хостить публичный экземпляр cq, Уилсон ответил осторожно: внутри компании обсуждают распределённую и централизованную модели и взвешивают последствия каждого подхода. Лично Уилсон считает разумным, чтобы Mozilla.ai помогла запустить центральную платформу с начальным набором данных для тех, кто хочет опробовать общую базу, – но предупреждает о необходимости действовать прагматично и учитывать риски, связанные с поддержкой центрального сервиса.

Очевидная уязвимость проекта – отравление контента и инъекции промптов, при которых агенты получают вредоносные инструкции. В описании cq упоминаются защитные механизмы: обнаружение аномалий, требование разнообразия источников подтверждения и проверка человеком (HITL – human in the loop). Тем не менее разработчики сразу указали на безопасность как на главную проблему концепции. «Звучит здорово – ровно до тех пор, пока не представишь возможные кошмарные сценарии», – заметил один из комментаторов.

Сама идея, при которой ИИ-агенты присваивают оценки достоверности базе знаний, а затем используют её же, при склонности моделей к ошибкам и галлюцинациям, вызывает вопросы. Участие человека в контуре способно снизить риски, однако, как отмечали на конференции QCon, «мощные силы выталкивают людей из контура».

Говоря о Stack Overflow, Уилсон использует термин «матрифагия» – поедание потомством матери. «Большие языковые модели через агентов совершили матрифагию над Stack Overflow, – написал инженер. – Теперь агентам нужен собственный Stack Overflow». Количество вопросов на площадке стремительно падает , хотя компания уже запустила MCP-сервер для доступа к контенту и продвигает приватный продукт Stack Internal как источник знаний для ИИ.

Зачем Mozilla берётся за подобный проект? Согласно отчёту State of Mozilla , некоммерческая организация «перестраивает Mozilla, чтобы сделать для ИИ то, что удалось сделать для веба». Mozilla.ai развивает несколько проектов – менеджер агентов Octonous и unified-интерфейс any-llm для работы с разными LLM-провайдерами. При этом Mozilla продолжает поддерживать популярный справочник MDN (Mozilla Developer Network) по JavaScript, CSS и веб-API – ресурс, который пока приятно свободен от ИИ-генерации.
 
Источник новости
www.securitylab.ru

Похожие темы