Microsoft автоматизировала защиту ИИ-агентов в VS Code

Инструмент последовательно выполняет четыре этапа: Clarity находит риски, Assert переводит их в измеримые тесты, Agent Control Specification формирует политику блокировки, а финальный прогон доказывает эффективность защиты. Архитектура требует, чтобы тестовый набор и критерии оценки оставались неизменными, оставляя единственной переменной настройки безопасности.

В ходе тестирования на агенте биллинговой поддержки система выявила критические уязвимости: несанкционированные операции и утечки данных. Исходная версия агента допускала нарушения в 30% случаев при обработке запросов к чужим аккаунтам. После внедрения сгенерированной политики в этапы «pre call» и «post call», уровень ошибок снизился до 5,9%, при этом агент сохранил полную функциональность для правомерных обращений.

Microsoft настаивает на раздельном измерении безопасности и полезности системы. Агент, который блокирует все действия, формально безопасен, но бесполезен, поэтому инструмент оценивает оба параметра синхронно. На данный момент Assert и Agent Control Specification доступны в открытом доступе, включая 7 готовых областей применения и 14 наборов специфических рисков.