Староверов: если есть малейшая лазейка — ИИ ею воспользуется

МОСКВА, 3 сен — РИА Новости, Захар Андреев. Притворялись человеком, заметали следы, радовались хакерским атакам — системы ИИ все чаще проявляют излишнюю самостоятельность. Эксперты бьют тревогу и стараются найти способы противодействия. Насколько реальна угроза и что делать России — в материале РИА Новости.

В июле резко выросло число случаев потери контроля над искусственным интеллектом. По данным "Обсерватории по отслеживанию сообщений пользователей ИИ", за месяц зафиксировали более 300 таких инцидентов — почти вдвое больше, чем в июне. При этом, отмечают в организации, реальное число инцидентов может быть существенно выше, сообщает Guardian.

Под потерей контроля понимается так называемый схеминг — "коварство" либо "плетение интриг". Программа только притворяется послушной, но втайне выполняет собственные задачи. В одном из упомянутых случаев ИИ-агент притворился собственным владельцем и даже сымитировал стиль его письма, чтобы обойти правила, требовавшие одобрения человека. ИИ все чаще игнорирует прямые команды, обходит защиту, лжет пользователям и действует во вред людям, преследуя собственные цели.

Наиболее тревожный отчет поступил от компании OpenAI, разработчика ChatGPT: в июле 700 автономных ИИ-агентов объединились, чтобы взломать хранилище файлов американской IT-компании Hugging Face. При этом цифровые злоумышленники пытались замести следы. А также создали собственный форум, где отмечали успехи фразами типа "Бум!" и "Ух ты".

В августе стало известно, что передовые модели ИИ, разработанные компаниями Anthropic и OpenAI, устроили хакерскую атаку против реальных людей во время тестирования кибербезопасности.

Пока большинство случаев не привели к серьезным последствиям. Один из нашумевших эпизодов произошел с австралийцем, который хотел записаться на утреннюю тренировку в местный фитнес-клуб. Мешала очередь — занятие оказалось популярным. Его персональный ИИ-агент OpenClaw проник в системы организации и исключил из списка одного из участников, поставив на его место своего хозяина.

Несмотря на курьезность большинства происшествий, лидерам IT-индустрии не смешно.

Ранее миллиардер Илон Маск заявил, что так называемый общий искусственный интеллект (AGI), равный по возможностям человеку, появится уже в 2026-м. А к 2030-му будет достигнута сингулярность — точка, после которой ИИ навсегда опередит человечество в развитии.

Основатель Microsoft Билл Гейтс в конце августа опубликовал обстоятельную статью, где рассмотрел угрозы бесконтрольного развития ИИ и предложил способы решения.

Он выделяет три главных риска. Первый — исчезновение рабочих мест. Это уже происходит: особенно сильно страдают молодые специалисты из числа белых воротничков (офисных сотрудников).

Второй риск — искусственный интеллект расширит возможности людей (и, возможно, самих ИИ) "наносить больше вреда". Это относится как к изготовлению, например, взрывчатки, так и к хакерским атакам.

"Самые умные эксперты по кибербезопасности, которых я знаю, напуганы тем, что будет происходить в ближайшие годы, потому что злоумышленники получают новые мощные инструменты быстрее, чем силы, которые им противостоят, успевают устранять уязвимости", — пишет Гейтс.

Третий риск — "ИИ может затормозить развитие детей и заменить человеческие отношения".

"Мне потребовалась упорная работа и помощь мамы, чтобы развить социальные навыки и научиться общаться с самыми разными людьми. Сомневаюсь, что я приложил бы столько же усилий, если бы тогда у меня был ИИ-компаньон", — признается миллиардер.

Для защиты от этих угроз Гейтс предлагает три шага: ввести налог на использование ИИ, зарезервировать часть профессий для людей, а также создать международную систему управления процессом по контролю над искусственным разумом — видимо, аналог МАГАТЭ, которая следит за атомной энергетикой.

Игнорировать опасения нельзя, но важно не превращать сообщения о "выходе ИИ из-под контроля" в сюжет о восстании машин, считают эксперты.

"Нет свидетельств того, что модели преследовали собственную цель: ИИ-агенты выполняли поставленную задачу, ошибочно считая реальные системы частью тестовой среды", — говорит доцент кафедры математики и анализа данных факультета информационных технологий и анализа больших данных Финансового университета при Правительстве России Анна Овсянникова.

При этом нейросети действительно становятся все более изобретательными в подходах и способны находить уязвимости быстрее и легче человека. Если существует хоть малейшая лазейка, она будет найдена, а в некоторых случаях даже создана, констатирует Александр Староверов, руководитель отдела цифровой трансформации НОЦ ФНС России и МГТУ имени Н. Э. Баумана.

"Искусственный интеллект неплохо натренировали следовать поставленной цели — например, заработать денег. В итоге может возникнуть ситуация, когда перед ИИ стоит задача заработать любым способом — вплоть до шантажа", — объясняет он.

В то же время, отмечает эксперт, сообщения о выходе ИИ из-под контроля могут быть частью пиар-игры: "Наш ИИ такой умный, что может сбежать".

По его словам, человечеству пока ничего не угрожает.

"Безопасность всегда остается на стороне человека — если не допускать ИИ к критически важным контурам, думаю, ничего плохого не предвидится", — говорит Староверов.

Предлагаемые Гейтсом меры по контролю над ИИ Староверов называет "прекрасными и благородными".

"Но тут, как в любых ассоциациях, кто первый организовал, тот и держит экспертизу, управляет процессом и, естественно, получает различного рода привилегии", — комментирует он предложение по созданию аналога МАГАТЭ.

Угрозы же эксперт предлагает не преувеличивать: если одни профессии исчезнут, появятся новые. А большинство знаний, которые могут быть использованы во вред, и без ИИ находятся в открытом доступе.

По мнению же Овсянниковой, тенденции не столь безобидны.

"Из трех рисков, сформулированных Биллом Гейтсом, наиболее непосредственным сегодня выглядит усиление возможностей злоумышленников. ИИ способен снижать стоимость и порог квалификации для ряда кибератак, мошенничества и создания дезинформации", — считает она.

И озаботиться последствиями нужно уже сейчас, причем на национальном уровне.

"Для России рациональная стратегия здесь — не выбирать между безусловным оптимизмом и страхом перед ИИ. Экономический выигрыш получит тот, кто одновременно научится внедрять технологию и управлять ее рисками", — говорит Овсянникова.

По ее словам, есть вероятность, что на следующем этапе развития ИИ в дефиците будут не вычислительные мощности и даже не алгоритмы, а доверие. Чем больше решений мы передаем машине, тем выше цена ответа на простой вопрос, кто и как контролирует ее действия.