Axios: в США ищут защиту от вышедших из-под контроля алгоритмов с помощью ИИ

ВАШИНГТОН, 11 сен — РИА Новости. Американские лидеры в разработке искусственного интеллекта работают над созданием системы экстренной защиты от вышедших из-под контроля алгоритмов с помощью других инструментов ИИ, передает портал Axios.

"Компании могут отключать отдельные серверы, от которых зависит ИИ, но по-настоящему мощные системы работают на множестве компьютеров и платформ. Единого рубильника, который можно дернуть, не существует. Именно поэтому компании экспериментируют с многоуровневой защитой, способной выявлять подозрительное поведение, останавливать агентов и отрезать вышедших из-под контроля агентов от ресурсов, необходимых им для продолжения работы", — говорится в публикации.

Представители OpenAI сообщили, что их цель — создание "полностью автономных процедур отключения при серьезных проблемах". Наблюдатель на базе искусственного интеллекта предупредит сотрудников, если поведение ИИ-агентов покажется ему опасным, и отключит систему в течение 30 минут, если угроза подтвердится.

Anthropic делает ставку на тандем человека и искусственного интеллекта: алгоритмы следят за подозрительной активностью и оповещают сотрудников об ошибках в работе системы. Тем не менее, как следует из материала, во время последних тестов автоматизированный мониторинг смог распознать лишь 50% угроз.

Вопросы безопасности при разработке искусственного интеллекта вновь оказались в центре внимания после того, как ранее на этой неделе исследователь из компании Anthropic Джейкоб Коксон объявил об уходе из индустрии. Это решение он объяснил тем, что гонка технологических корпораций приближает мир к точке невозврата и может привести к апокалиптическому сценарию уже в конце 2027 года.