Введение
Galileo — это модель с открытым исходным кодом, разработанная для обработки, анализа и понимания различных потоков данных дистанционного зондирования Земли, включая оптические, радарные, высотные, климатические данные и вспомогательные карты. Модель создана при поддержке исследователей из Университета Макгилла, NASA Harvest Ai2, Карлтонского университета, Университета Британской Колумбии, Векторного института и Университета штата Аризона.
Цель Galileo — предоставить унифицированное, универсальное решение для критически важных приложений, таких как картографирование сельскохозяйственных угодий, реагирование на бедствия и мониторинг окружающей среды.
В отличие от предыдущих моделей дистанционного зондирования, ограниченных одним типом данных или масштабом, Galileo гибко объединяет несколько модальностей и предназначена для распознавания явлений в диапазоне от крошечных объектов (например, рыбацких лодок размером 1–2 пикселя) до огромных, медленно меняющихся объектов, таких как ледники.
Ключевые особенности и архитектура
Мультимодальный дизайн Transformer
Galileo основана на архитектуре Vision Transformer (ViT), тщательно адаптированной для обработки:
* мультиспектральных оптических изображений (например, Sentinel-2);
* данных синтетической апертуры радара (SAR) (например, Sentinel-1);
* данных о высоте и уклоне (например, NASA SRTM);
* погодных/климатических данных (например, осадки и температура из ERA5);
* карт земного покрова, населения, ночных огней и многого другого.
Гибкая обработка входных данных
Конвейер токенизации Galileo разбивает входные данные дистанционного зондирования на пространственные участки, временные шаги и группы логических каналов. Это позволяет модели обрабатывать изображения, временные ряды и статические табличные данные в единой конфигурации архитектуры.
Единое локальное и глобальное изучение признаков
Ключевым нововведением является алгоритм предварительного обучения Galileo с самоконтролем, который сочетает в себе:
* глобальные потери: поощряют абстракцию в широком пространственном или временном контексте — идеально для идентификации «больших» или медленно меняющихся объектов (ледники, вырубка лесов).
* локальные потери: повышают чувствительность к мельчайшим деталям — крайне важно для обнаружения небольших, быстро меняющихся объектов (лодки, мусор).
Набор данных и стратегия предварительного обучения
Чтобы обеспечить как семантическое, так и географическое разнообразие, набор данных для предварительного обучения Galileo охватывает весь земной шар, отобранный с помощью кластерного подхода для максимизации как разнообразия земного покрова, так и географического распространения. Набор данных включает более 127 000 пространственно-временных выровненных образцов, каждый из которых включает четыре категории и девять типов данных дистанционного зондирования.
Предварительное обучение длится 500 эпох на больших вычислительных ресурсах. Ключевые аспекты:
* размер пакета: эффективный размер пакета — 512;
* дополнения данных: переворот, вращение и переменные размеры патчей;
* оптимизация: AdamW с запланированной скоростью обучения и сбросом веса.
Результаты тестирования
Превосходная генерализация
Galileo протестирована на 11 разнообразных наборах данных и 15 последующих задачах, охватывающих классификацию изображений и временных рядов пикселей, а также сегментацию. В частности, она доминирует на общедоступных наборах данных, таких как EuroSat, BigEarthNet, So2Sat, MADOS (морской мусор), Sen1Floods11 (SAR-картографирование наводнений), CropHarvest (мультимодальная классификация сельскохозяйственных культур) и многих других.
Производительность Galileo-Base (ViT-Base)
Классификация (Fine-tune):
* EuroSat: 97,7% (точность top-1, 100% данных для обучения). Превосходит специализированные модели, такие как CROMA (96,6%) и SatMAE (96,6%).
* Pixel Timeseries:
* CropHarvest (Кения): 84,2% (превосходит Presto и AnySat).
* Breizhcrops: 73,0%.
* Сегментация (mIoU):
* MADOS: 67,6%.
* PASTIS: 79,4%.
Гибкость модели
По всем бенчмаркам Galileo занимает первое место — опережая как специализированные модели для работы с изображениями, так и модели для работы с временными рядами. Примечательно, что небольшие варианты модели (ViT-Nano, ViT-Tiny) также достигают высоких или близких к высоким результатов, что особенно важно для условий с ограниченными ресурсами.
Удаление отдельных модальностей
Удаление любой отдельной модальности (например, ночного освещения VIIRS, ERA5, карт Dynamic World) из предварительного обучения приводит к заметному снижению производительности — даже на тестах, не использующих напрямую этот тип входных данных. Например, отсутствие данных VIIRS снижает MADOS mIoU с 67,8% до 63,5%, демонстрируя ценность полной мультимодальности для обобщения признаков.
Открытый исходный код и влияние на реальную жизнь
Открытые веса и код
Весь код, веса модели и данные для предварительного обучения доступны на GitHub, что способствует прозрачности и внедрению модели в мировом сообществе дистанционного зондирования Земли.
Социальные преимущества
Galileo поддерживает критически важные для NASA Harvest мероприятия, такие как глобальное картирование типов сельскохозяйственных культур, быстрое картографирование бедствий (наводнения, лесные пожары) и обнаружение морского загрязнения. Способность модели работать с ограниченными размеченными данными делает её особенно ценной в регионах, где достоверных данных мало, что способствует усилиям по обеспечению продовольственной безопасности и адаптации к изменению климата.
Заключение
Методологические и инженерные достижения Galileo — мультимодальные входные данные, многоуровневое локально-глобальное изучение признаков и крупномасштабное глобально разнообразное предварительное обучение — устанавливают новый стандарт для универсальных систем дистанционного зондирования. Гибкость модели лежит в основе практических внедрений — от мониторинга окружающей среды до обеспечения климатической устойчивости, предлагая надёжные, высококачественные карты и прогнозы независимо от задачи или географии.
Благодаря открытому исходному коду и активному развитию Galileo может стать катализатором новой волны инноваций в науках о Земле, расширяя возможности специалистов по всему миру.
1. Какие типы данных может обрабатывать модель Galileo?
Модель Galileo разработана для обработки и анализа различных потоков данных дистанционного зондирования Земли, включая оптические, радарные, высотные, климатические данные и вспомогательные карты.
2. Какие ключевые особенности архитектуры модели Galileo обеспечивают её эффективность?
Ключевые особенности архитектуры модели Galileo включают:
* мультимодальный дизайн Transformer, адаптированный для обработки различных типов данных;
* гибкая обработка входных данных с помощью конвейера токенизации;
* единое локальное и глобальное изучение признаков с помощью алгоритма предварительного обучения Galileo с самоконтролем.
3. Какие результаты тестирования были получены для модели Galileo?
Модель Galileo была протестирована на 11 разнообразных наборах данных и 15 последующих задачах, охватывающих классификацию изображений и временных рядов пикселей, а также сегментацию. В частности, она доминирует на общедоступных наборах данных, таких как EuroSat, BigEarthNet, So2Sat, MADOS (морской мусор), Sen1Floods11 (SAR-картографирование наводнений), CropHarvest (мультимодальная классификация сельскохозяйственных культур) и многих других.
4. Какие преимущества предоставляет модель Galileo для решения практических задач?
Модель Galileo предоставляет следующие преимущества для решения практических задач:
* превосходная генерализация на различных наборах данных;
* гибкость модели, позволяющая работать с ограниченными размеченными данными;
* способность работать с мультимодальными входными данными, что делает её особенно ценной в регионах, где достоверных данных мало.
5. Где можно найти код, веса модели и данные для предварительного обучения Galileo?
Код, веса модели и данные для предварительного обучения Galileo доступны на GitHub.