Введение: проблема запоминания в моделях языка
Современные модели языка подвергаются всё более пристальному изучению их способности к запоминанию. Например, модель с 8 миллиардами параметров, обученная на 15 триллионах токенов, заставляет исследователей задаваться вопросом, действительно ли такие модели осмысленно запоминают свои обучающие данные. Распространённые методы, включая извлечение данных и вывод о членстве, оказываются недостаточными, поскольку часто не могут отличить запоминание от обобщения.
Ограничения существующих подходов
Предыдущие системы, такие как методы, основанные на извлечении данных, или дифференциальная приватность, работают на уровне набора данных, не учитывая запоминание конкретных экземпляров. Языковое моделирование через сжатие и оценка ёмкости через запоминание фактов (как в RNN и квантованных трансформерах) дают частичное представление, но им не хватает масштабируемости и точности, особенно для глубоких архитектур трансформеров.
Новый подход к измерению запоминания
Исследователи из FAIR в Meta, Google DeepMind, Корнельского университета и NVIDIA предложили новый метод оценки того, сколько модель «знает» о конкретных точках данных, чтобы измерить ёмкость современных языковых моделей. Они разделяют запоминание на две составляющие: непреднамеренное запоминание, которое представляет информацию, содержащуюся в модели о наборе данных, и обобщение, которое отражает информацию об истинном процессе генерации данных.
Они рассчитывают общее запоминание, чтобы обеспечить точные оценки ёмкости модели, удаляя обобщение, и показывают, что модели семейства GPT имеют приблизительную ёмкость около 3,6 бит на параметр. Исследователи также разработали ряд законов масштабирования, которые связывают ёмкость модели и размер данных с выводом о членстве, обучив сотни языковых моделей на основе трансформеров.
Экспериментальная среда и методология обучения
Используя архитектуру GPT-2, команда обучила сотни моделей с количеством параметров от 100 тысяч до 20 миллионов, различной глубиной (1–8 слоёв) и размерами скрытых слоёв (32–512). Обучение включало:
* 10^6 шагов;
* размер пакета: 2048;
* точность: bfloat16;
* оборудование: один графический процессор A100.
Модели обучались как на синтетических последовательностях, так и на дедуплицированных текстовых последовательностях из 64 токенов из набора данных FineWeb. Эксперименты обеспечивали минимальное влияние обобщения благодаря тщательному построению набора данных.
Понимание ёмкости модели и ключевые выводы
* Биты на параметр: во всех конфигурациях модели последовательно сохраняли от 3,5 до 3,6 бит/параметр.
* Двойной спуск: по мере того как размер обучающего набора данных приближается к ёмкости модели, тестовые потери сначала уменьшаются (переобучение), а затем снова улучшаются, когда модели начинают обобщать.
* Влияние точности: обучение в формате float32 немного увеличивает ёмкость хранения (до ~3,83 бит/параметр) по сравнению с bfloat16 (~3,51 бит/параметр).
Разделение запоминания и обобщения
Перейдя от синтетических к реальным текстовым наборам данных, команда заметила:
* Запоминание на уровне выборки увеличивается с увеличением количества параметров.
* Запоминание уменьшается с увеличением размера обучающего набора данных.
* Точная оценка запоминания модели требует дедупликации и ссылки на модель-оракул для базовых показателей сжатия.
Законы масштабирования для вывода о членстве
Исследователи смоделировали показатель успешности (F1) вывода о членстве на основе функции отношения между ёмкостью модели и размером набора данных. Ключевые наблюдения:
* Вывод о членстве становится ненадёжным по мере роста наборов данных.
* Прогностические законы масштабирования остаются точными в пределах 1–2% для моделей до 1,5 миллиарда параметров.
Заключение: лучшее понимание поведения модели
Эта работа создаёт обоснованную систему для измерения запоминания в моделях языка. Внедряя количественные показатели и масштабируемые эксперименты, она углубляет наше понимание того, как трансформерные модели кодируют обучающие данные, и проводит чёткую границу между запоминанием и обобщением. Полученные сведения могут направлять будущие разработки в области оценки моделей, конфиденциальности и интерпретируемости.
Ознакомиться с полной версией статьи можно [здесь](…). Все заслуги за это исследование принадлежат исследователям этого проекта. Подписывайтесь на нас в [Twitter](…) и присоединяйтесь к нашему [сообществу ML на SubReddit](…) и подписывайтесь на [наш новостной канал](…).
Хотите продвигать свой продукт/вебинар/услугу среди 1 миллиона+ инженеров по искусственному интеллекту/разработчиков/специалистов по данным/архитекторов/CTO/CIO? Давайте партнёрствовать.