MemAgent: система на основе обучения с подкреплением, переопределяющая обработку длинных контекстов в больших языковых моделях
Обработка чрезвычайно длинных документов остаётся сложной задачей для больших языковых моделей (LLM). Даже с такими методами, как экстраполяция длины и разрежённое внимание, модели часто страдают от снижения производительности и высоких вычислительных затрат. Чтобы решить эту проблему, исследователи из ByteDance Seed и Университета Цинхуа разработали MemAgent — систему на основе обучения с подкреплением, предназначенную для обработки … Читать далее