MWS AI: российские ИИ-модели сделали меньше ошибок, чем OpenAI и Nvidia

МОСКВА, 6 окт - РИА Новости. Отечественные ИИ-модели по распознаванию речи при выполнении русскоязычных задач совершили вдвое меньше ошибок, чем зарубежные нейросети OpenAI и Nvidia, сообщили РИА Новости в MWS AI (входит в МТС Web Services) в преддверии форума "Цифровые решения".

"По результатам тестирования российские модели совершили вдвое меньше ошибок, чем зарубежные решения OpenAI и Nvidia, и продемонстрировали достаточную точность для применения в основных специализированных бизнес-сценариях в ключевых отраслях экономики России. Тестирование проводилось на более чем 12 тысячах размеченных аудиозаписей общей длительностью около 38 часов. Выборка включала речь без выраженных помех, а также записи с акустическим шумом и фоновой речью", - рассказали в сервисе.

Нейросети сравнивали по WER (Word Error Rate) - показателю, который отражает количество ошибок при распознавании слов относительно числа слов в эталонной расшифровке.

Отмечается, что по итогам тестирования, средний WER для GigaAM от "Сбера" составил 7,4% - около 7,4 ошибки на каждые 100 слов эталонной расшифровки. Это более чем в два раза меньше, чем у Nvidia Parakeet с результатом 15,8%, и более чем в три раза меньше, чем у Nvidia Nemotron с результатом 25,5%.

Пот этом на записях с акустическим шумом и фоновой речью разрыв более выражен: WER GigaAM составил 18%, Nvidia Parakeet - 33%, а Whisper от OpenAI - 62%. На втором месте по точности оказалась другая российская разработка - Vosk от Alpha Cephei.

Форум "Цифровые решения" проходит в Национальном центре "Россия" 6-10 октября. РИА Новости – генеральный информационный партнер форума.