Большие языковые модели (LLMs) всё чаще рассматриваются как ключ к достижению общего искусственного интеллекта (AGI), однако они сталкиваются с серьёзными ограничениями в управлении памятью. Большинство LLMs полагаются на фиксированные знания, хранящиеся в их весах, и краткосрочный контекст во время использования, что затрудняет сохранение и обновление информации с течением времени.
Такие методы, как RAG, пытаются включить внешние знания, но им не хватает структурированного управления памятью. Это приводит к таким проблемам, как забывание прошлых разговоров, плохая адаптивность и изолированность памяти на разных платформах.
Сегодняшние LLMs не рассматривают память как управляемую, постоянную или совместно используемую систему, что ограничивает их полезность в реальных условиях.
Решение проблемы
Для решения проблем, связанных с управлением памятью в современных LLMs, исследователи из MemTensor (Shanghai) Technology Co., Ltd., Шанхайского университета Цзяо Тун, Народного университета Китая и Исследовательского института China Telecom разработали MemOS.
Эта операционная система делает память ключевым ресурсом в языковых моделях. В её основе лежит MemCube — унифицированная абстракция памяти, которая управляет параметрической, активационной и текстовой памятью.
MemOS обеспечивает структурированную, отслеживаемую и кросс-задачную обработку памяти, позволяя моделям адаптироваться непрерывно, усваивать предпочтения пользователей и поддерживать поведенческую консистенцию. Это превращает LLMs из пассивных генераторов в развивающиеся системы, способные к долгосрочному обучению и межплатформенной координации.
Архитектура MemOS
MemOS — это операционная система, ориентированная на память, для языковых моделей, которая рассматривает память не просто как сохранённые данные, но как активный, развивающийся компонент познания модели. Она организует память в три различных типа:
* Параметрическая память (knowledge baked into model weights via pretraining or fine-tuning) — знания, встроенные в веса модели посредством предварительного обучения или тонкой настройки.
* Активационная память (temporary internal states, such as KV caches and attention patterns, used during inference) — временные внутренние состояния, такие как кэши KV и шаблоны внимания, используемые во время вывода.
* Текстовая память (editable, retrievable external data, like documents or prompts) — редактируемые, извлекаемые внешние данные, такие как документы или подсказки.
Эти типы памяти взаимодействуют в рамках унифицированной структуры, называемой MemoryCube (MemCube), которая инкапсулирует как контент, так и метаданные, обеспечивая динамическое планирование, версионирование, контроль доступа и преобразование между типами.
В основе MemOS лежит трёхслойная архитектура:
* Уровень интерфейса (Interface Layer) обрабатывает входные данные пользователя и преобразует их в задачи, связанные с памятью.
* Уровень операций (Operation Layer) управляет планированием, организацией и эволюцией различных типов памяти.
* Уровень инфраструктуры (Infrastructure Layer) обеспечивает безопасное хранение, управление доступом и сотрудничество между агентами.
Все взаимодействия внутри системы опосредованы через MemCubes, что позволяет отслеживать операции с памятью на основе политик.
Благодаря модулям, таким как MemScheduler, MemLifecycle и MemGovernance, MemOS поддерживает непрерывный и адаптивный цикл работы с памятью — от момента, когда пользователь отправляет подсказку, до внедрения памяти во время рассуждений и хранения полезных данных для будущего использования.
Такая структура не только повышает скорость отклика модели и её персонализацию, но и обеспечивает структурированность, безопасность и возможность повторного использования памяти.
В заключение, MemOS — это операционная система, ориентированная на память, разработанная для того, чтобы сделать память центральным, управляемым компонентом в LLMs. В отличие от традиционных моделей, которые зависят в основном от статических весов модели и краткосрочных состояний во время выполнения, MemOS вводит унифицированную структуру для управления параметрической, активационной и текстовой памятью.
В основе MemOS лежит MemCube — стандартизированный блок памяти, который поддерживает структурированное хранение, управление жизненным циклом и расширение памяти с учётом задач. Система обеспечивает более согласованное рассуждение, адаптивность и сотрудничество между агентами.
Будущие цели включают в себя обеспечение обмена памятью между моделями, саморазвивающиеся блоки памяти и создание децентрализованного рынка памяти для поддержки непрерывного обучения и интеллектуальной эволюции.