Специалисты МФТИ создали алгоритм HARP, сжимающий языковые модели практически без потери точности. Технология вдвое ускоряет работу ИИ-систем и снижает потребность в вычислительных мощностях и памяти дата-центров. Алгоритм протестировали на языковых моделях Llama и Qwen. При максимально жестком сжатии ошибка сократилась на 15%. HARP и уже сжатые с его помощью нейросети выложили в открытый доступ.
Серверное слияние: сколько времени потребуется «Яндексу» на восстановление ЦОД
Рынок показал редкий пример кооперации в условиях кризиса, отмечают эксперты
«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, поскольку подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает значительно меньше памяти. При этом нам не нужно заново обучать всю нейросеть — достаточно провести дополнительную калибровку», — рассказал «Известиям» старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Глеб Молодцов.
Большие языковые модели требуют значительных вычислительных ресурсов, а их работа во многом ограничена пропускной способностью памяти. Чтобы уменьшить объем данных, ученые применяют квантование — представление весов модели меньшим числом битов. Чем сильнее сжатие, тем выше риск падения точности. HARP помогает эти потери сократить.
Подробнее о возможностях алгоритма в условиях больших нагрузок на ЦОД читайте в эксклюзивном материале «Известий»:
Невыносимая легкость бита: метод «упаковки» нейросетей снизит нагрузку на дата-центры
Комментарии 0