Точные прогнозы погоды напрямую влияют на жизнь людей. Они помогают принимать как повседневные решения, например, что взять с собой, так и срочные меры, скажем, для защиты при опасных погодных условиях. Важность точных и своевременных прогнозов будет только расти по мере изменения климата. Осознавая это, Google инвестирует в исследования погоды и климата. Мы стремимся, чтобы технологии прогнозирования завтрашнего дня отвечали потребности в надежной информации. Среди наших недавних разработок — MetNet-3 для прогнозов высокого разрешения на 24 часа вперед и GraphCast, модель для предсказания погоды до 10 дней. Погода по своей природе случайна. Генеративный ИИ для количественной оценки неопределенности в прогнозировании погоды позволяет эффективнее справляться с этой случайностью. Традиционные методы для оценки неопределенности используют физические симуляции для создания ансамбля прогнозов. Однако создание большого ансамбля вычислительно очень затратно. А ведь именно большой ансамбль нужен, чтобы точно выявлять и характеризовать редкие и экстремальные погодные явления.
Учитывая это, мы представляем нашу последнюю инновацию – **SEEDS (Scalable Ensemble Envelope Diffusion Sampler)**, недавно опубликованную в Science Advances. SEEDS — это генеративная модель ИИ, которая может эффективно создавать ансамбли прогнозов погоды в больших масштабах. При этом затраты составляют лишь малую долю от стоимости традиционных физических моделей. Эта технология открывает новые возможности для науки о погоде и климате. Она также представляет одно из первых применений вероятностных диффузионных моделей в этой области. Диффузионные модели – это технология генеративного ИИ, стоящая за недавними успехами в генерации медиаконтента.
Необходимость вероятностных прогнозов: эффект бабочки
На собрании Американской ассоциации содействия развитию науки в Вашингтоне профессор метеорологии Массачусетского технологического института Эд Лоренц выступил с докладом «Вызывает ли взмах крыльев бабочки в Бразилии торнадо в Техасе?». Это способствовало появлению термина «эффект бабочки». Он основывался на своей более ранней знаковой статье 1963 года. В ней он исследовал возможность «очень долгосрочного прогнозирования погоды». Лоренц описал, как ошибки в начальных условиях экспоненциально растут при расчетах с помощью численных моделей прогнозирования погоды.
Этот экспоненциальный рост ошибок, известный как хаос, приводит к пределу детерминированной предсказуемости. Он ограничивает использование отдельных прогнозов для принятия решений, так как они не отражают присущую погоде неопределенность. Это особенно проблематично при прогнозировании экстремальных погодных явлений. К ним относятся ураганы, волны жары или наводнения.
Понимая ограничения детерминированных прогнозов, метеорологические агентства по всему миру выпускают вероятностные прогнозы. Такие прогнозы основаны на ансамблях детерминированных прогнозов. Каждый из них генерируется путем добавления синтетического шума в начальные условия и учета случайности в физических процессах. Используя быстрый рост ошибок в погодных моделях, прогнозы в ансамбле намеренно делают разными. Начальные неопределенности настраиваются так, чтобы прогоны модели максимально отличались друг от друга. А случайные процессы в модели вносят дополнительные различия во время расчета. Рост ошибки смягчается усреднением всех прогнозов в ансамбле. А изменчивость внутри ансамбля количественно определяет неопределенность погодных условий.
Хотя этот метод эффективен, создание таких вероятностных прогнозов очень дорого с точки зрения вычислений. Они требуют многократного запуска сложнейших численных моделей погоды на огромных суперкомпьютерах. Следовательно, многие оперативные службы прогнозирования могут позволить себе генерировать лишь около 10–50 членов ансамбля для каждого цикла прогноза. Это проблема для тех, кому важна вероятность редких, но опасных явлений. Для их оценки обычно требуются гораздо большие ансамбли, особенно для прогнозов на срок более нескольких дней. Например, чтобы спрогнозировать вероятность событий с 1% вероятностью возникновения с относительной ошибкой менее 10%, понадобился бы ансамбль из **10 000 членов**. Количественная оценка вероятности таких экстремальных событий может быть полезна, например, для подготовки к чрезвычайным ситуациям или для трейдеров на энергетическом рынке.
SEEDS: Прорывы благодаря ИИ и количественная оценка неопределенности
В нашей статье мы представляем SEEDS (Scalable Ensemble Envelope Diffusion Sampler) — технологию генеративного ИИ для создания ансамблей прогнозов погоды. SEEDS основана на вероятностных моделях диффузии с устранением шума (denoising diffusion probabilistic models). Это передовой метод генеративного ИИ, в разработке которого участвовали специалисты Google Research.
SEEDS может генерировать большой ансамбль прогнозов, основываясь всего на одном или двух прогнозах из оперативной системы численного прогнозирования погоды. Сгенерированные ансамбли не только дают правдоподобные, похожие на реальную погоду прогнозы, но также соответствуют или превосходят ансамбли на основе физических моделей по таким показателям качества, как:
В частности, сгенерированные ансамбли более точно определяют вероятности на краях распределения прогнозов. Например, для погодных событий, отклоняющихся на ±2σ и ±3σ (сигма – стандартное отклонение) от среднего. Самое важное, что вычислительные затраты модели ничтожны по сравнению с часами работы суперкомпьютеров, необходимыми для одного прогноза. Пропускная способность SEEDS составляет 256 членов ансамбля (с разрешением 2°) за 3 минуты на инстансах Google Cloud TPUv3-32. Ее можно легко масштабировать для большей производительности, используя больше ускорителей.
SEEDS генерирует на порядок больше образцов для заполнения распределений погодных паттернов. Это позволяет лучше использовать **генеративный ИИ для количественной оценки неопределенности в прогнозировании погоды**.
Генерация правдоподобных прогнозов погоды
Мы сравнили прогнозы SEEDS с оперативным прогнозом Глобальной ансамблевой системы прогнозирования США (GEFS) для конкретной даты во время европейских волн жары 2022 года. Мы также сравнили результаты с прогнозами гауссовой модели. Эта модель предсказывает среднее значение и стандартное отклонение для каждого атмосферного поля в каждой точке сетки независимо. Это распространенный и вычислительно эффективный, но менее сложный подход, основанный на данных. Гауссова модель характеризует результаты поточечной постобработки, игнорируя корреляции. Она рассматривает каждую точку сетки как независимую случайную величину. Напротив, реальная карта погоды имеет детальные корреляционные структуры.
Поскольку SEEDS напрямую моделирует совместное распределение атмосферного состояния, она реалистично отражает как пространственную ковариацию, так и корреляцию между геопотенциалом средней тропосферы и давлением на уровне моря. Оба этих параметра тесно связаны и часто используются синоптиками для оценки и проверки прогнозов. Градиенты давления на уровне моря определяют приземные ветры. А градиенты геопотенциала средней тропосферы создают ветры на высотах, которые перемещают крупномасштабные погодные системы.
Примеры, сгенерированные SEEDS (кадры Ca–Ch на рисунке ниже), показывают ложбину геопотенциала к западу от Португалии. Ее пространственная структура похожа на ту, что видна в оперативных прогнозах США или в данных реанализа (основанных на наблюдениях). Хотя гауссова модель адекватно предсказывает одномерные распределения для каждой точки, она не улавливает корреляции между разными полями или пространственные связи. Это мешает оценить влияние этих аномалий на вторжения горячего воздуха из Северной Африки, которые могут усугублять волны жары над Европой.
(Описание к изображению в оригинальной статье) Мини-карты над Европой на 14.07.2022, 0:00 UTC. Контуры — давление на уровне моря (пунктирные линии — изобары ниже 1010 гПа). Цветовая карта — высота геопотенциала на уровне 500 гПа. (A) Реанализ ERA5, аналог реальных наблюдений. (Ba-Bb) 2 члена 7-дневных оперативных прогнозов США, использованные как “семена” для модели. (Ca-Ch) 8 образцов, сгенерированных SEEDS. (Da-Dh) 8 других членов 7-дневного оперативного ансамбля прогнозов США. (Ea-Ed) 4 образца из поточечной гауссовой модели, параметризованной средним и дисперсией всего оперативного ансамбля США.
Более точный охват экстремальных событий
SEEDS обеспечивает лучшее статистическое покрытие экстремальной жары в Европе 14 июля 2022 года (отмечено коричневой звездой). Каждый график показывает значения общего содержания водяного пара в столбе атмосферы (TCWV) в зависимости от температуры над точкой сетки вблизи Лиссабона, Португалия. Результаты получены из 16 384 образцов, сгенерированных нашими моделями (зеленые точки), на основе 2 “семян” (синие квадраты), взятых из 7-дневных оперативных ансамблевых прогнозов США (обозначены редкими коричневыми треугольниками). Время прогноза соответствует 1:00 по местному времени. Сплошные контуры соответствуют изо-линиям плотности вероятности для SEEDS. Внешний контур охватывает 95% массы, а между соседними уровнями заключено 11.875% массы.
Заключение и перспективы
В итоге, SЕЕDS представляет собой значительный шаг вперед. Технология генеративного ИИ для количественной оценки неопределенности в прогнозировании погоды показала свою эффективность. Она позволяет создавать большие ансамбли прогнозов погоды быстро и с низкими затратами. Это открывает путь к более надежной оценке вероятности редких и экстремальных погодных явлений. Такие возможности критически важны в условиях меняющегося климата. Мы ожидаем, что SEEDS и подобные ей модели найдут широкое применение в оперативной метеорологии и климатических исследованиях.
Благодарности
Все авторы SEEDS, Лизао Ли, Роб Карвер, Игнасио Лопес-Гомес, Фей Ша и Джон Андерсон, внесли вклад в эту статью, Карла Бромберг выступила руководителем программы. Мы также благодарим Тома Смолла, создавшего анимацию. Коллеги из Google Research предоставили неоценимые советы по работе над SEEDS. Среди них мы благодарим Леонардо Сепеда-Нуньеса, Чжун И Вана, Стефана Распа, Стефана Хойера и Тапио Шнайдера за их вклад и полезные обсуждения. Мы благодарим Тайлера Рассела за дополнительное управление технической программой, а также Алекса Мероуза за координацию данных и поддержку. Мы также благодарим Дженка Газена, Шрею Агравал и Джейсона Хикки за обсуждения на ранних этапах работы над SEEDS.
Добавить комментарий