МОСКВА, 13 окт - РИА Новости. Российские ученые разработали алгоритм HARP для снижения нагрузки на дата-центры, сообщила газета "Известия".
"Специалисты МФТИ разработали алгоритм HARP, который позволяет сжимать языковые модели практически без потери точности. Технология способна вдвое увеличить скорость работы ИИ-систем, а также снизить потребность в вычислительных мощностях и памяти дата-центров. Алгоритм успешно испытали на языковых моделях Llama и Qwen. При наиболее жестком сжатии ошибка снизилась на 15%", - пишет газета.
Отмечается, что HARP и уже сжатые с его помощью нейросети доступны для свободного использования.
Газета поясняет, что большие языковые модели требуют значительных вычислительных ресурсов, а их работа во многом ограничена пропускной способностью памяти. Чтобы уменьшить объем данных, ученые используют квантование - представление весов модели меньшим числом битов. Чем сильнее сжатие, тем выше риск снижения точности. А алгоритм HARP позволяет уменьшить эти потери.
Кроме того, HARP не заменяет существующие методы квантования, а работает поверх них. Разработку проверили на моделях разного масштаба.
Как рассказал "Известиям" эксперт НТИ по новым материалам и технологиям Евгений Вишневский, главным преимуществом такого подхода является то, что он встраивается в уже существующие методы сжатия и улучшает их результат, и разработчикам не придется перестраивать привычные инструменты.
Он добавил, что для российского рынка это особенно актуально, так как эффективное использование имеющихся вычислительных мощностей позволяет быстрее развивать отечественные ИИ-сервисы и внедрять их в различных отраслях экономики.
