Sakana AI представляет Doc-to-LoRA и Text-to-LoRA: гиперсети, которые мгновенно усваивают длинные контексты и адаптируют большие языковые модели с помощью нулевого выстрела на естественном языке
Адаптация больших языковых моделей (LLM) В настоящее время адаптация LLM представляет собой значительный инженерный компромисс между гибкостью обучения в контексте (ICL) и эффективностью дистилляции контекста (CD) или супервизированного точного настройки (SFT). Компания Sakana AI из Токио предложила новый подход, позволяющий обойти эти ограничения за счёт амортизации затрат. В двух своих недавних статьях они представили Text-to-LoRA … Читать далее