Разработчики "ВКонтакте" обучили нейросеть с помощью текстов РИА Новости

МОСКВА, 30 апр – РИА Новости. С помощью текстов РИА Новости команда прикладных исследований "ВКонтакте" разработала нейросеть, которая создает новостные заголовки. На примерах материалов крупнейшего российского информационного агентства она научилась генерировать заглавия на русском языке, в английском же ее навыки оттачивались на статьях The New York Times.

Как сообщает пресс-служба "ВКонтакте", презентация нейросети состоялась на Европейской конференции по информационному поиску (European Conference On Information Retrieval 2019) в Кёльне, а статья о ней опубликована в сборнике.

Для генерации заголовка нейросети нужен только текст новости. Модель обрабатывает его и формулирует заголовок из фрагментов слов — так она добивается правильных падежей и склонений и в итоге получает связное предложение. Чтобы создать нейросеть, разработчики использовали архитектуру Universal Transformer и технику компрессии данных BPE (Byte Pair Encoding) — они обычно применяются в машинном переводе и позволяют ограничиться небольшим словарём для генерации заголовков. Однако сотрудники "ВКонтакте" — первые, кто использовал BPE для модели суммаризации текста, а также первые, кто обучал такую модель на русскоязычных новостных материалах.

"Исследование с добровольцами показало, что заголовки, созданные нейросетью, пока не всегда получаются такими же качественными, как написанные человеком. Однако мы не перестаём улучшать модель — и непременно добьёмся равных результатов, – отметил разработчик-исследователь "ВКонтакте" Даниил Гаврилов. – Наша и другие разработки помогут быстро выделять главную мысль из длинных текстов — это действительно полезно, ведь информации вокруг нас уже много и становится только больше. Использоваться технология может для самых разных задач, связанных с удобством потребления контента — например, в ВК её потенциально можно применить для умного сокращения постов в ленте пользователя или для создания новостных дайджестов".