Российские ученые ускорили работу ИИ с длинным текстом

МОСКВА, 16 авг – РИА Новости. Российские ученые из лаборатории исследований искусственного интеллекта (ИИ) T-Bank AI Research разработали нейросеть ReBased (РеБейзд) для ускоренной обработки длинных текстов, сообщает компания.

В основе открытия лежит новая архитектура языковых моделей, названная ReBased. Архитектура в глубоком обучении — это общий план или структура, по которой строится нейронная сеть. Она определяет, какие типы слоев будут использованы (например, сверточные, рекуррентные или полносвязные) и как эти слои будут соединены между собой. Продуманная архитектура позволяет нейросети лучше решать определенные задачи, например распознавать изображения или понимать текст. Выбор подходящей архитектуры важен для эффективности и точности работы модели, говорится в сообщении.

Проведя анализ архитектуры Based (Бейзд), представленной учеными Стэнфорда в декабре 2023 года, российские ученые оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, которые отвечают за оптимальный поиск взаимосвязей между частями текста. Это позволяет улучшить процесс его обработки и получать более точные ответы.

Ученые также упростили алгоритм выделения текстовой информации, что привело к увеличению производительности, повышению качества работы с длинными текстами и улучшению контекстного обучения. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше как минимум на 10%, отметили эксперты.

ReBased способна снизить издержки на использование искусственного интеллекта для специализированных задач, которые имеют конкретную область применения и требуют учета ее особенностей. Например, в медицине такой задачей может считаться классификация текстов на основе симптомов и диагнозов.

Новая архитектура, предложенная учеными, позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества.

Ученые проводили эксперименты на датасете MQAR (Multi-Query Associative Recall – ассоциативный вызов с несколькими запросами), который позволяет определять способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию (запоминанию не связанных пар объектов), например: лицо человека — его имя.

"Примечательно, что параллельно с выходом нашей статьи группа исследователей из Стэнфорда выпустила исследование на эту же тему, но с другим подходом к решению. Сейчас это одна из наиболее интересных областей исследований в NLP по всему миру: трансформеры слишком медленные, но линейные модели уступают им по качеству. И мы, и ученые из Стэнфорда занимаемся поиском оптимальных архитектур. Мы ценим их вклад в развитие технологий и рады возможности участвовать в научном диалоге такого уровня", – приводятся в сообщении слова исследователя обработки естественного языка в T-Bank AI Research Ярослава Аксенова.