Новая модель Google для регрессии на основе языка (RLM) позволяет большим языковым моделям (LLM) прогнозировать производительность промышленных систем напрямую из необработанных текстовых данных, не полагаясь на сложный инжиниринг признаков или жёсткие табличные форматы.
Проблема прогнозирования производительности промышленных систем
Прогнозирование производительности для крупномасштабных промышленных систем, таких как вычислительные кластеры Google Borg, традиционно требовало обширного инжиниринга функций для конкретной предметной области и табличных представлений данных, что затрудняло масштабирование и адаптацию.
Журналы, файлы конфигурации, переменные аппаратные смеси и вложенные данные о заданиях нелегко преобразовать или нормализовать для классических регрессионных моделей. В результате рабочие процессы оптимизации и моделирования часто оказываются хрупкими, дорогостоящими и медленными, особенно при внедрении новых типов рабочих нагрузок или оборудования.
Основная идея: регрессия «текст-в-текст»
Google Regression Language Model (RLM) переформулирует регрессию как задачу генерации текста: все данные о состоянии системы (конфигурация, журналы, профили рабочей нагрузки, описания оборудования) сериализуются в структурированные текстовые форматы, такие как YAML или JSON, и используются в качестве входных данных. Модель регрессии выводит числовую цель — например, показатели эффективности (миллионы инструкций в секунду на вычислительную единицу Google, MIPS per GCU) — в виде текстовой строки.
* Не требуются табличные функции: это устраняет необходимость в предопределённых наборах функций, нормализации и жёстких схемах кодирования.
* Универсальная применимость: любое состояние системы может быть представлено в виде строки; изначально поддерживаются гетерогенные, вложенные или динамически развивающиеся функции.
Технические детали: архитектура и обучение
Подход использует относительно небольшую модель LLM с кодировщиком-декодером (60 миллионов параметров), которая обучается с помощью кросс-энтропийных потерь следующего токена на строковых представлениях входных и выходных данных. Модель не предварительно обучена на общем языковом моделировании — обучение может начинаться со случайной инициализации, фокусируясь непосредственно на корреляции состояний системы с числовыми результатами.
* Пользовательская числовая токенизация: результаты эффективно токенизируются (например, кодирование мантиссы-знака-показателя P10) для представления значений с плавающей запятой в словаре модели.
* Адаптация с несколькими примерами: предварительно обученные RLM быстро адаптируются к новым задачам всего с 500 примерами, адаптируясь к новым конфигурациям кластеров или месяцам в течение нескольких часов, а не недель.
* Масштабирование по длине последовательности: модели могут обрабатывать очень длинные входные тексты (тысячи токенов), обеспечивая полное наблюдение за сложными состояниями.
Результаты на кластере Borg
Тестирование на кластере Borg показало, что RLM достигли корреляции рангов Спирмена до 0,99 (в среднем 0,9) между прогнозируемыми и истинными значениями MIPS per GCU, при этом средняя квадратичная ошибка была в 100 раз ниже, чем у табличных базовых показателей. Модели изначально количественно оценивают неопределённость, выбирая несколько выходных данных для каждого входного, что поддерживает вероятностное системное моделирование и рабочие процессы байесовской оптимизации.
Сравнение: RLM и традиционная регрессия
| Подход | Формат данных | Инжиниринг признаков | Адаптивность | Производительность | Неопределённость |
|—|—|—|—|—|—|
| Табличная регрессия | Плоские тензоры, числа | Требуется вручную | Низкая | Ограничена признаками | Минимальная |
| RLM (текст-в-текст) | Структурированный, вложенный текст | Не требуется | Высокая | Почти идеальные ранги | Полный спектр |
Приложения и краткое содержание
* Облачные и вычислительные кластеры: прямое прогнозирование производительности и оптимизация для крупной динамической инфраструктуры.
* Производство и IoT: универсальные симуляторы для прогнозирования результатов в различных промышленных конвейерах.
* Научные эксперименты: сквозное моделирование, где входные состояния сложны, текстово описаны и численно разнообразны.
Этот новый подход — рассмотрение регрессии как языкового моделирования — устраняет давние барьеры в системном моделировании, обеспечивает быструю адаптацию к новым средам и поддерживает надёжное прогнозирование с учётом неопределённости, что имеет решающее значение для промышленного ИИ следующего поколения.
1. Какие проблемы решает новая модель Google для регрессии на основе языка (RLM) в контексте прогнозирования производительности промышленных систем?
Новая модель Google для регрессии на основе языка (RLM) решает проблему прогнозирования производительности для крупномасштабных промышленных систем, таких как вычислительные кластеры Google Borg. Традиционно этот процесс требовал обширного инжиниринга функций для конкретной предметной области и табличных представлений данных, что затрудняло масштабирование и адаптацию. RLM позволяет избежать этих сложностей, используя необработанные текстовые данные для прогнозирования производительности.
2. Как работает модель RLM и какие преимущества она предлагает по сравнению с традиционными методами регрессии?
RLM работает путём переформулирования регрессии как задачи генерации текста. Все данные о состоянии системы (конфигурация, журналы, профили рабочей нагрузки, описания оборудования) сериализуются в структурированные текстовые форматы, такие как YAML или JSON, и используются в качестве входных данных. Модель регрессии выводит числовую цель в виде текстовой строки.
Преимущества RLM включают:
* отсутствие необходимости в табличных функциях;
* универсальную применимость к любому состоянию системы;
* быструю адаптацию к новым задачам с помощью небольшого количества примеров;
* способность обрабатывать очень длинные входные тексты.
3. Какие результаты были получены при тестировании модели RLM на кластере Borg?
При тестировании на кластере Borg RLM достигли корреляции рангов Спирмена до 0,99 (в среднем 0,9) между прогнозируемыми и истинными значениями MIPS per GCU. Средняя квадратичная ошибка была в 100 раз ниже, чем у табличных базовых показателей. Модели изначально количественно оценивают неопределённость, выбирая несколько выходных данных для каждого входного, что поддерживает вероятностное системное моделирование и рабочие процессы байесовской оптимизации.
4. Какие приложения и области могут извлечь выгоду из использования модели RLM?
Облачные и вычислительные кластеры: прямое прогнозирование производительности и оптимизация для крупной динамической инфраструктуры.
Производство и IoT: универсальные симуляторы для прогнозирования результатов в различных промышленных конвейерах.
Научные эксперименты: сквозное моделирование, где входные состояния сложны, текстово описаны и численно разнообразны.
5. В чём заключается основная идея подхода, используемого в модели RLM?
Основная идея подхода, используемого в модели RLM, заключается в переформулировании регрессии как задачи генерации текста. Это позволяет использовать необработанные текстовые данные для прогнозирования производительности промышленных систем, устраняя необходимость в сложном инжиниринге признаков и жёстких табличных форматах.