Введение
Носимые устройства преобразуют мониторинг здоровья, позволяя непрерывно собирать физиологические и поведенческие сигналы, такие как частота сердечных сокращений, активность, температура и кожная проводимость. Однако реальные данные, которые генерируют эти устройства, часто содержат пропуски из-за сбоев датчиков, снятия устройства, зарядки, артефактов движения, режимов энергосбережения и других прерываний. Это создаёт серьёзную проблему для самообучающихся моделей (SSL), которые обычно ожидают полные и регулярные потоки данных.
Команда исследователей из Google DeepMind представила фреймворк LSM-2 (Large Sensor Model 2) в сопровождении новой стратегии адаптивной и унаследованной маскировки (AIM). Она позволяет напрямую обучаться на неполных данных с носимых датчиков без явного вменения. Ниже мы рассмотрим технические инновации, эмпирические результаты и ключевые идеи этого достижения.
Проблема: пропуски в данных с носимых устройств
* Фрагментация данных. В крупномасштабном наборе данных из 1,6 миллиона образцов данных с носимых устройств за сутки 0% образцов были полностью полными; пропуски широко распространены и часто структурированы в виде длинных промежутков, а не простых случайных пропусков.
* Режимы пропусков. Распространённые причины включают:
* Выключение устройства (зарядка или снятие).
* Выборочная деактивация датчиков (энергосбережение или специфические операции).
* Артефакты движения или шум окружающей среды.
* Показания вне диапазона или физиологически невозможные значения, отфильтрованные во время предварительной обработки.
* Влияние на моделирование. Многие клинически значимые физиологические закономерности (например, циркадные ритмы, вариабельность сердечного ритма) требуют анализа длинных последовательностей, где пропуски практически гарантированы.
Адаптивная и унаследованная маскировка (AIM): технический подход
* Ключевые концепции. AIM объединяет два типа маскировки для надёжного обучения:
* Унаследованная маска: отмечает токены, соответствующие реальным пропускам в данных датчиков.
* Искусственная маска: случайным образом маскирует наблюдаемые токены, чтобы обеспечить целевые значения для самообучающегося предварительного обучения.
* Стратегии маскировки для предварительного обучения.
* Случайное вменение: удаление 80% токенов, имитирующих шум датчика.
* Временные срезы: удаление 50% временных окон (все датчики отсутствуют в случайные периоды).
* Срезы датчиков: удаление 50% каналов датчиков в течение всего дня (моделирование выборочного отключения датчиков).
Набор данных и детали предварительного обучения
* Масштаб: 40 миллионов часов данных за сутки, мультимодальные данные с датчиков, собранные с 60 440 участников в период с марта по май 2024 года.
* Датчики: фотоплетизмография (PPG), акселерометр, электродермальная активность (EDA), температура кожи и альтиметр. Каждое устройство ежесекундно агрегировало данные в течение 24-часового окна.
* Демографическое разнообразие: участники в широком диапазоне возрастов (18–96), полов и классов ИМТ.
Оценка и результаты
* Задачи. LSM-2 на основе AIM был протестирован на:
* Классификация: бинарная гипертензия, тревога и распознавание активности по 20 классам.
* Регрессия: возраст и ИМТ.
* Генеративные: восстановление пропущенных данных с датчиков (случайное вменение, временные/сигнальные промежутки).
* Количественные результаты.
| Задача | Метрика | Лучший LSM-1 | LSM-2 с AIM | Улучшение |
|——–|———|————-|————|———–|
| Гипертония | F1 | 0,64 | 0,651 | +1,7% |
| Распознавание активности | F1 | 0,47 | 0,474 | +0,8% |
| ИМТ (регрессия) | Corr | 0,667 | 0,673 | +1,0% |
| Случайное вменение (80%) | MSE (↓) | 0,3 | 0,2 | +33% |
| Восстановление двух сигналов | MSE (↓) | 0,73 | 0,17 | +77% |
Устойчивость к целенаправленным пропускам
Когда определённые датчики или временные окна были искусственно удалены, LSM-2 с AIM продемонстрировал снижение производительности на 73% меньше (в среднем) по сравнению с LSM-1. Например, потеря F1 после удаления акселерометрии для распознавания активности составила -57% для LSM-2, в отличие от -71% для LSM-1, а LSM-2 сохранил на 47% более высокий абсолютный F1 после удаления данных.
Клиническая согласованность
Снижение производительности модели соответствовало ожиданиям в предметной области. Удаление биосигналов в ночное время значительно снизило точность прогнозирования гипертонии/тревоги (отражая реальную диагностическую ценность ночных данных).
Масштабируемость
LSM-2 продемонстрировал лучшую масштабируемость, чем LSM-1, с точки зрения количества субъектов, данных, вычислений и размера модели, при этом не наблюдалось насыщения в приросте производительности.
Технические идеи
* Прямое обращение с реальными пропусками. LSM-2 — первая модель для носимых устройств, обученная и оценённая непосредственно на неполных данных, без явного вменения.
* Гибридный механизм маскировки. Адаптивная и унаследованная маскировка обеспечивает как вычислительную эффективность (через удаление дропаута), так и гибкость (через маскировку внимания).
* Обобщаемые встраивания. Даже с замороженным бэкбоном и простыми линейными зондами LSM-2 достигает современных результатов как в клинических/персональных, так и в событийных задачах, превосходя контролируемые и контрастные базовые модели SSL.
* Генеративная и дискриминантная сила. LSM-2 — единственная модель, способная как восстанавливать пропущенные сигналы, так и генерировать встраивания, применимые для различных последующих задач, что предполагает полезность для реальных приложений медицинского и поведенческого мониторинга.
Заключение
LSM-2 с адаптивной и унаследованной маскировкой представляет собой значительный шаг вперёд для развёртывания ИИ-управляемых идей здравоохранения с использованием реальных данных с носимых устройств. Прямое использование повсеместных структурированных пропусков и объединение генеративных и дискриминантных возможностей в одной эффективной и надёжной базовой модели закладывает важную основу для будущего носимого и медицинского ИИ в реалистичных средах с несовершенными данными.
1. Какие проблемы возникают при использовании данных с носимых устройств для обучения самообучающихся моделей (SSL)?
При использовании данных с носимых устройств для обучения самообучающихся моделей возникает проблема пропусков в данных. Это связано со сбоями датчиков, снятием устройства, зарядкой, артефактами движения, режимами энергосбережения и другими прерываниями.
2. Какие типы маскировки используются в рамках фреймворка LSM-2 (Large Sensor Model 2) для обучения на неполных данных?
В рамках фреймворка LSM-2 используются два типа маскировки: унаследованная маска и искусственная маска. Унаследованная маска отмечает токены, соответствующие реальным пропускам в данных датчиков. Искусственная маска случайным образом маскирует наблюдаемые токены, чтобы обеспечить целевые значения для самообучающегося предварительного обучения.
3. Какие стратегии маскировки применяются для предварительного обучения LSM-2?
Для предварительного обучения LSM-2 применяются следующие стратегии маскировки:
* случайное вменение (удаление 80% токенов, имитирующих шум датчика);
* временные срезы (удаление 50% временных окон, когда все датчики отсутствуют в случайные периоды);
* срезы датчиков (удаление 50% каналов датчиков в течение всего дня, моделирование выборочного отключения датчиков).
4. Какие данные использовались для предварительного обучения LSM-2 и какие датчики были задействованы?
Для предварительного обучения LSM-2 использовались мультимодальные данные с датчиков, собранные с 60 440 участников в период с марта по май 2024 года. Были задействованы следующие датчики: фотоплетизмография (PPG), акселерометр, электродермальная активность (EDA), температура кожи и альтиметр.
5. Какие результаты были получены при тестировании LSM-2 на различных задачах?
При тестировании LSM-2 на различных задачах были получены следующие результаты:
* классификация (бинарная гипертензия, тревога и распознавание активности по 20 классам);
* регрессия (возраст и ИМТ);
* генеративные задачи (восстановление пропущенных данных с датчиков).
LSM-2 продемонстрировал улучшение по сравнению с LSM-1 в следующих задачах:
* гипертония (F1: +1,7%);
* распознавание активности (F1: +0,8%);
* ИМТ (регрессия) (Corr: +1,0%);
* случайное вменение (80%) (MSE: +33%);
* восстановление двух сигналов (MSE: +77%).