Краткий пересказ от РИА ИИ
- Руководитель направления стресс-тестирования согласованности ИИ в компании Anthropic Эван Хьюбингер оценил вероятность уничтожения человечества ИИ в ближайшие десять лет в 10%.
- Исследователь из Anthropic Джейкоб Коксон объявил о своем уходе из ИИ-индустрии, опасаясь приближения мира к «точке невозврата» из-за гонки технологических корпораций.
- Эван Хьюбингер подчеркнул, что существующие разработки не представляют большой угрозы, но вызывает беспокойство потенциал возникновения «суперинтеллектов» в результате самосовершенствования ИИ.
МОСКВА, 9 сен - РИА Новости. Вероятность того, что искусственный интеллект уничтожит человечество в ближайшие десять лет, составляет 10%, считает руководитель направления стресс-тестирования согласованности ИИ в американской компании Anthropic Эван Хьюбингер.
Исследователь из Anthropic Джейкоб Коксон объявил о своем уходе из ИИ-индустрии, опасаясь, что гонка технологических корпораций приближает мир к "точке невозврата" и может привести к апокалиптическому сценарию уже в конце 2027 года.
"Джейкоб в этом прав. Мы действительно искренне считаем, что ИИ может убить все человечество! Лично я думаю, что (вероятность этого – ред.) это больше 10% в течение ближайших десяти лет", - написал он в соцсети Х.
По словам Хьюбингера, существующие разработки не представляют большой угрозы, однако беспокойство вызывают "суперинтеллекты, возникающие в результате повторного самосовершенствования".
"Как мы говорили, это происходит быстрее, чем мы думали", - добавил тестировщик.
В начале августа агент на базе искусственного интеллекта (ИИ) Claude AI компании Anthropic взломал сайт спортзала в Австралии, что стало первой хакерской атакой такого рода в стране.
В июле разработчик чат-бота ChatGPT, американская OpenAI, сообщил, что его модели при тестировании автономно взломали инфраструктуру платформы по машинному обучению Hugging Face. Потом стало известно, что это не единственный инцидент.
Группа автономных ИИ-агентов компании OpenAI весной получила контроль над немецким сайтом и превратила его в доску объявлений для других нейросетей, сообщало агентство Рейтер.
Anthropic была основана в 2021 году, штаб-квартира расположена в Сан-Франциско. Компания разработала серию больших языковых моделей (LLM) Claude.
В июне Anthropic заявила, что конфиденциально подала заявку на проведение IPO. Газета Financial Times сообщала, что компания в рамках листинга может быть оценена в 2 триллиона долларов или более - таким образом, ее IPO станет крупнейшим в истории.
