Глобальные климатические модели — это сложные программные комплексы, часто содержащие более миллиона строк кода.
Такие сложные модели неизбежно содержат ошибки или «баги». Однако результаты их работы широко используются для обоснования климатической политики, поэтому важно, чтобы они выдавали достоверные результаты.
Ульрике Проске и Лике Мелсен попытались разобраться, как разработчики климатических моделей думают об ошибках, выявляют их и устраняют. Они опросили 11 учёных и научных программистов из Института Макса Планка по метеорологии, которые работают над климатической моделью ICON. Результаты исследования опубликованы в журнале Earth’s Future.
Интервьюируемые рассказали следующее:
* Когда для ICON разрабатывается новый код, его проверяют и тестируют, чтобы выявить баги до интеграции в саму модель. Однако после интеграции кода такое тестирование обычно прекращается.
* Код считается свободным от багов до тех пор, пока модель не начнёт вести себя странно или программист случайно не обнаружит баг при изучении кода по другим причинам.
* Даже когда модель даёт сбой, это не всегда признак того, что баг нужно исправить, потому что исследователи всегда идут на компромисс между скоростью и стабильностью модели, а иногда просто выводят модель за пределы того, что она может обработать при данных ограничениях.
Поиск и устранение багов может занимать много времени, поэтому даже если команда подозревает наличие бага, иногда они оценивают его влияние как незначительное и не требующее исправления.
Когда исследователи решают исправить баг, многие рассматривают этот процесс как продолжение климатологии: они выдвигают гипотезы о том, как баг может заставить модель вести себя, а затем проверяют эти гипотезы, чтобы выяснить точную природу бага и способы его устранения.
Многие опрошенные сказали, что лучший способ избежать багов — это тщательно тестировать код до его интеграции в полную модель. Для облегчения тестирования существуют инструменты, такие как Buildbot и платформа разработки GitLab, и учёные сказали, что такие инструменты можно было бы более полно использовать в процессе разработки ICON.
Однако они также сказали, что есть объективные пределы того, насколько тщательно исследователи могут тестировать климатические модели, потому что исследователи не всегда знают, как выглядел бы вывод модели на 100% точный. Таким образом, у них нет той основы, с которой они могли бы сравнить фактический вывод модели.
Хотя интервьюируемые признали, что ICON несовершенна, они также посчитали её «достаточно хорошей» для прогнозирования погоды или ответа на исследовательские вопросы, такие как влияние увеличения содержания углекислого газа в атмосфере на глобальные температуры.
Авторы пишут, что хотя «принцип „достаточности“» прагматичен и понятен, он также может привести к недопониманию, если пользователи не оценят ограничения модели.