Компания Google AI Research and DeepMind выпустила VaultGemma 1B — крупнейшую открытую большую языковую модель с открытым весом, обученную полностью с использованием дифференциальной приватности (DP). Это достижение является важным шагом на пути к созданию мощных моделей искусственного интеллекта, обеспечивающих сохранение конфиденциальности.
Зачем нужна дифференциальная приватность в больших языковых моделях?
Большие языковые модели, обученные на обширных веб-данных, подвержены атакам с целью запоминания, когда из модели можно извлечь конфиденциальную или личную информацию. Исследования показали, что исходные данные обучения могут всплывать, особенно в открытых релизах с открытым весом.
Дифференциальная приватность предлагает математическую гарантию, которая предотвращает значительное влияние отдельных примеров обучения на модель. В отличие от подходов, которые применяют DP только во время тонкой настройки, VaultGemma обеспечивает полное частное предварительное обучение, гарантируя, что защита конфиденциальности начинается на фундаментальном уровне.
Архитектура VaultGemma
VaultGemma по своей архитектуре похожа на более ранние модели Gemma, но оптимизирована для частного обучения.
* Размер модели: 1B параметров, 26 слоёв.
* Тип трансформера: только декодер.
* Активации: GeGLU с прямой связью размерностью 13 824.
* Внимание: многозадачное внимание (MQA) с глобальным охватом в 1024 токена.
* Нормализация: RMSNorm в предварительной конфигурации.
* Токенизатор: SentencePiece со словарём в 256K.
Примечательным изменением является сокращение длины последовательности до 1024 токенов, что снижает вычислительные затраты и позволяет использовать более крупные размеры пакетов в условиях ограничений DP.
Какие данные использовались для обучения?
VaultGemma была обучена на том же наборе данных из 13 триллионов токенов, что и Gemma 2, состоящем в основном из английского текста из веб-документов, кода и научных статей.
Набор данных прошёл несколько этапов фильтрации для:
* удаления небезопасного или чувствительного контента;
* снижения вероятности раскрытия личной информации;
* предотвращения загрязнения данных для оценки.
Это обеспечивает безопасность и справедливость при проведении тестов.
Как применялась дифференциальная приватность?
VaultGemma использовала DP-SGD (дифференциально-приватный стохастический градиентный спуск) с обрезкой градиентов и добавлением гауссовского шума. Реализация была построена на JAX Privacy и включала оптимизации для масштабируемости:
* векторизованная обрезка по примерам для параллельной эффективности;
* накопление градиента для имитации больших пакетов;
* усеченная пуассоновская субдискретизация, интегрированная в загрузчик данных для эффективной выборки данных «на лету».
Модель достигла формальной гарантии DP (ε ≤ 2,0, δ ≤ 1,1e−10) на уровне последовательности (1024 токена).
Как работают законы масштабирования для частного обучения?
Обучение больших моделей в условиях ограничений DP требует новых стратегий масштабирования. Команда VaultGemma разработала специальные законы масштабирования DP с тремя инновациями:
* моделирование оптимальной скорости обучения с использованием квадратичных аппроксимаций по тренировочным прогонам;
* параметрическая экстраполяция значений потерь для снижения зависимости от промежуточных контрольных точек;
* полупараметрические аппроксимации для обобщения по размеру модели, количеству шагов обучения и соотношениям шума и пакетов.
Эта методология позволила точно прогнозировать достижимые потери и эффективно использовать ресурсы на тренировочном кластере TPUv6e.
Конфигурации обучения
VaultGemma была обучена на 2048 чипах TPUv6e с использованием GSPMD-разбиения и компиляции MegaScale XLA.
* Размер пакета: ~518K токенов.
* Количество итераций обучения: 100 000.
* Множитель шума: 0,614.
Достигнутые потери были в пределах 1% от прогнозов по закону масштабирования DP, что подтверждает правильность подхода.
Сравнение производительности VaultGemma с нечастными моделями
В академических тестах VaultGemma уступает своим нечастным аналогам, но демонстрирует значительную полезность:
* ARC-C: 26,45 против 38,31 (Gemma-3 1B).
* PIQA: 68,0 против 70,51 (GPT-2 1,5B).
* TriviaQA (5-shot): 11,24 против 39,75 (Gemma-3 1B).
Эти результаты показывают, что модели, обученные с использованием DP, в настоящее время сопоставимы с нечастными моделями примерно пятилетней давности. Важно отметить, что тесты на запоминание подтвердили отсутствие утечки данных обучения в VaultGemma, в отличие от нечастных моделей Gemma.
Резюме
VaultGemma 1B доказывает, что крупномасштабные языковые модели могут быть обучены с жёсткими гарантиями дифференциальной приватности, не делая их использование непрактичным. Хотя разрыв в полезности остаётся по сравнению с нечастными аналогами, выпуск как модели, так и методологии её обучения предоставляет сообществу прочную основу для развития частного ИИ. Эта работа сигнализирует о сдвиге в сторону создания моделей, которые не только обладают возможностями, но и являются по своей сути безопасными, прозрачными и сохраняющими конфиденциальность.
Ознакомиться с докладом, моделью на Hugging Face и техническими деталями можно по ссылке. Не стесняйтесь посетить нашу страницу на GitHub, чтобы найти учебные пособия, коды и ноутбуки. Также подписывайтесь на нас в Twitter и присоединяйтесь к нашему сообществу в SubReddit (более 100 тысяч участников машинного обучения) и подписывайтесь на нашу рассылку.
1. Какие преимущества VaultGemma имеет перед другими большими языковыми моделями с точки зрения обеспечения конфиденциальности данных?
Ответ: VaultGemma использует дифференциальную приватность (DP) для предотвращения значительного влияния отдельных примеров обучения на модель. Это гарантирует, что защита конфиденциальности начинается на фундаментальном уровне, в отличие от подходов, которые применяют DP только во время тонкой настройки.
2. Какие параметры и характеристики VaultGemma отличают её от более ранних моделей Gemma?
Ответ: VaultGemma имеет размер модели 1B параметров, 26 слоёв, тип трансформера — только декодер, активации — GeGLU с прямой связью размерностью 13 824, внимание — многозадачное внимание (MQA) с глобальным охватом в 1024 токена, нормализация — RMSNorm в предварительной конфигурации, токенизатор — SentencePiece со словарём в 256K. Примечательным изменением является сокращение длины последовательности до 1024 токенов, что снижает вычислительные затраты и позволяет использовать более крупные размеры пакетов в условиях ограничений DP.
3. Какие данные использовались для обучения VaultGemma и как они были подготовлены?
Ответ: VaultGemma была обучена на наборе данных из 13 триллионов токенов, состоящем в основном из английского текста из веб-документов, кода и научных статей. Набор данных прошёл несколько этапов фильтрации для удаления небезопасного или чувствительного контента, снижения вероятности раскрытия личной информации и предотвращения загрязнения данных для оценки.
4. Какие методы и стратегии были использованы для обеспечения дифференциальной приватности при обучении VaultGemma?
Ответ: VaultGemma использовала DP-SGD (дифференциально-приватный стохастический градиентный спуск) с обрезкой градиентов и добавлением гауссовского шума. Реализация была построена на JAX Privacy и включала оптимизации для масштабируемости: векторизованная обрезка по примерам для параллельной эффективности, накопление градиента для имитации больших пакетов, усечённая пуассоновская субдискретизация, интегрированная в загрузчик данных для эффективной выборки данных «на лету».
5. Каковы результаты сравнения производительности VaultGemma с нечастными моделями?
Ответ: В академических тестах VaultGemma уступает своим нечастным аналогам, но демонстрирует значительную полезность. Например, в тесте ARC-C VaultGemma показала результат 26,45, в то время как Gemma-3 1B — 38,31. В тесте PIQA VaultGemma показала результат 68,0, в то время как GPT-2 1,5B — 70,51. Эти результаты показывают, что модели, обученные с использованием DP, в настоящее время сопоставимы с нечастными моделями примерно пятилетней давности.