НОВОСИБИРСК, 21 июл — РИА Новости. Ученые Новосибирского филиала МНТК "Микрохирургия глаза" показали вице-премьеру Дмитрию Григоренко новую разработку — автономный ИИ-помощник для слабовидящих людей.
Вице-премьер ознакомился с ведущими разработками в сфере IT в Центре искусственного интеллекта Новосибирского госуниверситета и технопарке новосибирского Академгородка, а также встретился с представителями региональных IT-компаний.
"Учитывая активное развитие технологий, связанных с возможностями искусственного интеллекта, родилась идея использовать слуховой анализатор мозга для ориентации человека в пространстве. Когда человек читает книгу или слушает аудиозапись, в его мозгу формируются определенные образы о предметах и так далее. Если дать слабовидящему или слепому пациенту через слуховой анализатор возможность определять расстояние до объекта (дверного проема, окна, транспортного средства), его размеры — это, безусловно, поможет ему в реальной жизни и адаптации в социальной среде", — рассказал директор филиала Валерий Черных.
Врачи объединили усилия с учеными Исследовательского центра в сфере искусственного интеллекта НГУ, чтобы создать технологию, которая должна быть автономной и не использовать интернет. Сейчас они работают над прототипом прибора и обучают модель. Затем предстоит настройка устройства, установление режимов, сбор базы данных и обучение ИИ.
"Мы используем большие языковые модели, чтобы помочь данной категории пациентов в анализе окружающего пространства — создать им проводника, который мог бы дать концентрированное словесное описание всех объектов, находящихся перед пользователем. Принцип работы данной системы прост: "видеть" вместо человека будет видеокамера, информация с которой поступит в портативный компьютер, преобразующий ее в текст. Затем текстовое описание преобразуется голосовым помощником и подается через наушники непосредственно пациенту. Данное сообщение предоставляет основную информацию, которую пользователю необходимо знать, чтобы ориентироваться в пространстве", — пояснил руководитель проекта в Центре ИИ НГУ Алексей Окунев.
При разработке устройства используется мультимодальная языковая модель, и оно уже выдает вполне качественное словесное описание окружающих предметов. В перспективе у пользователя появится возможность задавать уточняющие вопросы и получать развернутые ответы. Языковая модель также распознает тексты, считывает надписи, указатели, предупреждения о препятствиях и тому подобное.
В НГУ уточнили, что прототип устройства будет готов к концу года. Это компактная система, состоящая из одноплатного 16-ядерного компьютера, который можно носить в наплечной сумке, видеокамеры (например, GoPro) и наушников. Устройство снабдят аккумулятором, а все элементы соединят беспроводными каналами коммуникации. Пользователь будет держать видеокамеру в руке и наводить ее, куда хочет. Общий вес устройства с аккумулятором составит около килограмма.
