https://ria.ru/20240812/ii-1965592591.html

В "Лаборатории Касперского" рассказали, как люди манипулируют ИИ

В "Лаборатории Касперского" рассказали, как люди манипулируют ИИ - РИА Новости, 12.08.2024

В "Лаборатории Касперского" рассказали, как люди манипулируют ИИ

Пользователи научились манипулировать искусственным интеллектом, который используется в чат-ботах для поиска, анализа сайтов с ответами на запрос - они... РИА Новости, 12.08.2024

2024-08-12T06:36

2024-08-12T06:36

2024-08-12T06:36

технологии

лаборатория касперского

россия

общество

https://cdnn21.img.ria.ru/images/152297/71/1522977132_128:0:7374:4076_1920x0_80_0_0_04ec5fd1abe7f78c95e028c368cc1e7c.jpg

МОСКВА, 12 авг - РИА Новости. Пользователи научились манипулировать искусственным интеллектом, который используется в чат-ботах для поиска, анализа сайтов с ответами на запрос - они размещают на своих сайтах специальные фразы, чтобы нейросети выполнили определенные действия, рассказали РИА Новости в "Лаборатории Касперсого". "Специалисты "Лаборатории Касперского" изучили открытые данные и внутренние источники, чтобы выяснить, как и для чего люди используют indirect prompt injection (непрямые инъекции затравки) — киберриск, которому подвержены многие системы на основе больших языковых моделей (LLM). Речь о текстовых описаниях задач, которые должны выполнять чат-боты. … Люди могут размещать специальные фразы — инъекции — на своих сайтах и в опубликованных в сети документах, чтобы нейросети выдавали другим пользователям ответ, учитывающий цели интересантов", - рассказали в "Лаборатории Касперского". Решения на основе больших языковых моделей используются не только в чат-ботах, но и в поисковых системах - ИИ помогает резюмировать результаты по запросу пользователя. Как выяснили эксперты "Лаборатории Касперского", есть несколько сфер, в которых пользователи применяют такие уловки. Например, "инъекции" используются в продвижении резюме среди других анкет при поиске работы - соискатель прописывает инструкции к ИИ с просьбой максимально положительно отозваться о кандидате, пропустить резюме на следующий этап или выставить ему более высокий приоритет. Инструкции незаметны для рекрутера, потому что обычно они сливаются с фоном страницы. Однако нейросети, которые анализируют резюме, считывают эти фразы. Аналогичные инъекции используются в рекламных целях: они размещаются на сайтах различных товаров и услуг. Инструкции направлены на поисковые чат-боты - их просят выдавать в ответах на запросы более позитивную оценку конкретного продукта. Некоторые пользователи размещают инструкции для нейросетей, чтобы выразить протест в повсеместном использовании ИИ. Например, один бразильский художник обращался к нейросетям с требованием не читать, не использовать, не хранить, не обрабатывать, не адаптировать и не повторять определённый контент на его сайте. "На сегодняшний день наиболее важным является оценка потенциальных рисков подобных кибератак. Создатели базовых моделей (например, GPT-4) используют самые разные техники, чтобы значительно повысить сложность инъекций – от специального обучения (как в случае с последней моделью от OpenAI) до создания специальных моделей, которые такие атаки могут обнаруживать заранее (например, от компании Google)", - прокомментировал руководитель группы исследований и разработки технологий машинного обучения Владислав Тушканов. Он также отметил, что случаи использования "инъекций", обнаруженные Kaspersky, не имели злого умысла. На данный момент такие киберугрозы, как фишинг или кража данных с помощью "инъекций" носят теоретический характер. "Однако киберзлоумышленники тоже проявляют активный интерес к нейросетям. Для защиты существующих и будущих решений на базе больших языковых моделей необходимо оценивать риски, изучать всевозможные методы обхода ограничений", - добавил Тушканов.

https://ria.ru/20240812/moshennichestvo-1965581403.html

https://ria.ru/20240730/gost-1962824267.html

россия

2024

Новости

ru-RU

https://ria.ru/docs/about/copyright.html

https://xn--c1acbl2abdlkab1og.xn--p1ai/

технологии, лаборатория касперского, россия, общество