https://ria.ru/20230411/neyroset-1864579971.html
Ученые из Петербурга научили нейросеть читать по губам
Ученые из Петербурга научили нейросеть читать по губам - РИА Новости, 11.04.2023
Ученые из Петербурга научили нейросеть читать по губам
Ученые из Петербурга обучили нейросеть читать по губам для повышения точности распознавания речи в смартфоне, это поможет пользоваться голосовыми командами в... РИА Новости, 11.04.2023
2023-04-11T17:38
2023-04-11T17:38
2023-04-11T17:38
технологии
санкт-петербург
российская академия наук
россия
наука
https://cdnn21.img.ria.ru/images/07e6/0c/14/1839956016_0:19:1920:1099_1920x0_80_0_0_7ba479caac1c27544eeb805325b8276c.jpg
С.-ПЕТЕРБУРГ, 11 апр - РИА Новости. Ученые из Петербурга обучили нейросеть читать по губам для повышения точности распознавания речи в смартфоне, это поможет пользоваться голосовыми командами в сложных и шумных условиях, сообщили в пресс-службе Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН). "Мы разработали приложение для смартфона, которое распознает звучащую речь и считывает по губам слова пользователя, анализируя видеосигнал с камеры гаджета. Программа совмещает и анализирует информацию из двух источников для улучшения точности распознавания. Эксперименты показали, что такая гибридная система значительно эффективнее распознает команды человека в сложных и шумных условиях", - рассказывает старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько. В основе приложения, добавляют в пресс-службе исследовательского центра, лежит нейросетевая модель, которую научили распознавать по аудиовизуальным сигналам (видеозаписям, сопровождающимися звуком) несколько сотен наиболее распространенных команд. По словам ученых, созданная нейросеть способна воспринимать аудиовизуальный сигнал и автоматически принимать решение о том, какие данные (видео, звук или оба) при распознавании дадут максимальную точность.
https://ria.ru/20230411/bot-1864557117.html
санкт-петербург
россия
РИА Новости
internet-group@rian.ru
7 495 645-6601
ФГУП МИА «Россия сегодня»
https://xn--c1acbl2abdlkab1og.xn--p1ai/awards/
2023
РИА Новости
internet-group@rian.ru
7 495 645-6601
ФГУП МИА «Россия сегодня»
https://xn--c1acbl2abdlkab1og.xn--p1ai/awards/
Новости
ru-RU
https://ria.ru/docs/about/copyright.html
https://xn--c1acbl2abdlkab1og.xn--p1ai/
РИА Новости
internet-group@rian.ru
7 495 645-6601
ФГУП МИА «Россия сегодня»
https://xn--c1acbl2abdlkab1og.xn--p1ai/awards/
РИА Новости
internet-group@rian.ru
7 495 645-6601
ФГУП МИА «Россия сегодня»
https://xn--c1acbl2abdlkab1og.xn--p1ai/awards/
РИА Новости
internet-group@rian.ru
7 495 645-6601
ФГУП МИА «Россия сегодня»
https://xn--c1acbl2abdlkab1og.xn--p1ai/awards/
технологии, санкт-петербург, российская академия наук, россия, наука
Технологии, Санкт-Петербург, Российская академия наук, Россия, Наука
Ученые из Петербурга научили нейросеть читать по губам
Ученые из Петербурга научили нейросеть читать по губам для улучшения распознавания речи
С.-ПЕТЕРБУРГ, 11 апр - РИА Новости. Ученые из Петербурга обучили нейросеть читать по губам для повышения точности распознавания речи в смартфоне, это поможет пользоваться голосовыми командами в сложных и шумных условиях, сообщили в
пресс-службе Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН).
"Мы разработали приложение для смартфона, которое распознает звучащую речь и считывает по губам слова пользователя, анализируя видеосигнал с камеры гаджета. Программа совмещает и анализирует информацию из двух источников для улучшения точности распознавания. Эксперименты показали, что такая гибридная система значительно эффективнее распознает команды человека в сложных и шумных условиях", - рассказывает старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько.
В основе приложения, добавляют в пресс-службе исследовательского центра, лежит нейросетевая модель, которую научили распознавать по аудиовизуальным сигналам (видеозаписям, сопровождающимися звуком) несколько сотен наиболее распространенных команд. По словам ученых, созданная нейросеть способна воспринимать аудиовизуальный сигнал и автоматически принимать решение о том, какие данные (видео, звук или оба) при распознавании дадут максимальную точность.
