С.-ПЕТЕРБУРГ, 11 апр - РИА Новости. Ученые из Петербурга обучили нейросеть читать по губам для повышения точности распознавания речи в смартфоне, это поможет пользоваться голосовыми командами в сложных и шумных условиях, сообщили в пресс-службе Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН).
"Мы разработали приложение для смартфона, которое распознает звучащую речь и считывает по губам слова пользователя, анализируя видеосигнал с камеры гаджета. Программа совмещает и анализирует информацию из двух источников для улучшения точности распознавания. Эксперименты показали, что такая гибридная система значительно эффективнее распознает команды человека в сложных и шумных условиях", - рассказывает старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько.
В основе приложения, добавляют в пресс-службе исследовательского центра, лежит нейросетевая модель, которую научили распознавать по аудиовизуальным сигналам (видеозаписям, сопровождающимися звуком) несколько сотен наиболее распространенных команд. По словам ученых, созданная нейросеть способна воспринимать аудиовизуальный сигнал и автоматически принимать решение о том, какие данные (видео, звук или оба) при распознавании дадут максимальную точность.