Метка: квантование моделей

HIGGS — инновационный метод сжатия больших языковых моделей, разработанный в сотрудничестве с командами из Yandex Research, MIT, KAUST и ISTA. HIGGS позволяет сжимать большие языковые модели (LLM) без дополнительных данных или ресурсоёмкой оптимизации параметров. В отличие от других методов сжатия, HIGGS не требует специализированного оборудования и мощных графических процессоров (GPU). Модели можно квантовать прямо на…