МОСКВА, 20 авг - РИА Новости. Агентный ИИ, который отличается от существующих ИИ-систем способностью действовать автономно, без постоянного взаимодействия с человеком и без жестко заданной программы, имеет уязвимости, которое создают новый класс угроз для корпораций, внедряющих его в свои бизнес-процессы, говорится в докладе "Росконгресса" "Агентный ИИ: маркетинговый ход или технологическая революция?", с которым ознакомилось РИА Новости.
"Архитектурные уязвимости агентных ИИ-систем создают новый класс угроз для корпоративной безопасности, превосходящий по потенциальному ущербу традиционные векторы атак", – говорится в документе. Авторы отмечают, что многие ИИ-агенты уязвимы для захвата. Например, злоумышленники могут вставить вредоносные инструкции в данные, которые могут быть считаны ИИ-агентом и заставить его предпринимать нежелательные действия.
"Критическим отличием агентных систем является наличие долгосрочной памяти, что создает новый класс угроз - отравление памяти", – говорится в докладе. Эксперты ссылаются на совместную работу ряда международных университетов, которые разработали технику MINJA (Memory INJection Attack), внедряющую вредоносные записи в память агентов, и получили более 70% успешных атак. Эксперты подчеркивают, что такая атака может быть запущена любым обычным пользователем без привилегированного доступа, при этом один пользователь способен повлиять на выполнение задач для всех остальных пользователей системы.
"96% специалистов по информационной безопасности считают ИИ-агентов крайне опасными сущностями, в то время как 98% организаций планируют расширить их использование в течение следующего года", - говорится в докладе.
Эксперты отмечают, что нынешние подходы к созданию ИИ-агентов подразумевают предоставление им доступа к информации клиентов, финансовым данным, интеллектуальной собственности, юридическим документам, транзакциям цепочки поставок. При этом 23% организаций сообщили, что их ИИ-агенты были обмануты и раскрыли учетные данные доступа. 80% компаний заявляют, что их ИИ-агенты предпринимали нежелательные действия, включая доступ к неавторизованным системам, доступ к конфиденциальным данным, разрешение выгрузки конфиденциальных данных и бесконтрольное распространение данных.
Авторы доклада приходят к выводу, что человеческий контроль за ИИ-системами критически важен.
"Критически важными являются ограничение функциональности расширений до минимально необходимого уровня, использование множественных агентов с раздельными ролями вместо универсальных агентов, обеспечение независимости функций безопасности от работы самих ИИ-агентов, непрерывный мониторинг с применением ограничений скорости работы и механизмов автоматического отключения агентов при аномальном поведении", - говорится в документе.
