На прошлой неделе Microsoft открыл исходные коды инструмента автоматизации для тестирования безопасности ИИ — Counterfit. Инструмент может использоваться для оценки рисков для систем ИИ и машинного обучения.

В своем блоге Microsoft пояснил, что Counterfit появился «из собственной необходимости проверять системы ИИ Microsoft на уязвимости, с целью впоследствии проактивно защищать сервисы ИИ». Изначально инструмент использовал готовые скрипты атак, нацеленные на конкретные модели ИИ, но со временем получил развитие.

Counterfit регулярно используется Красной командой Microsoft по ИИ — группой хакеров, которые тестируют системы искусственного интеллекта. Инструмент позволяет специалистам автоматизировать техники, которые затем атакуют системы.

Почему публикация исходного кода Counterfit так важна, объяснила старшая исследовательница кибербезопасности в Airbus, Матильда Род:

ИИ сейчас активно используется в промышленности; совершенно необходимо обезопасить эту технологию на будущее, в особенности для того, чтобы понять, где в проблемном пространстве могут быть реализованы атаки на пространство признаков. Публикация исходного кода инструмента такой организации, как Microsoft, чтобы специалисты по кибербезопасности могли оценивать надежность систем ИИ, приветствуется, а также означает, что в индустрии серьезно относятся к данному вопросу.

Серьезное отношение к безопасности сейчас действительно на повестке. Microsoft опросил 28 организаций, включая компании из рейтинга Fortune 500, правительства, НКО, малый и крупный бизнес, чтобы узнать, какие инструменты безопасности для ИИ используются уже сейчас: опрос показал, что 25 из 28 организаций не владеют подходящими инструментами для обеспечения безопасности ИИ-систем.