Лаборатория электротехники и вычислительной техники Хаоже «Гарри» Вана в Дьюке этой осенью пополнилась необычным новым сотрудником — искусственным интеллектом. Используя общедоступные базовые модели ИИ, такие как ChatGPT от OpenAI и модель сегментации Meta под названием SAM (Segment Anything Model), команда Вана разработала платформу ATOMIC (Autonomous Technology for Optical Microscopy & Intelligent Characterization) — ИИ-микроскоп, который может анализировать материалы так же точно, как и обученный аспирант, но за гораздо меньшее время.
«Система, которую мы создали, не просто выполняет инструкции, она их понимает, — сказал Ван. — ATOMIC может оценить образец, принять решение самостоятельно и выдать результаты так же хорошо, как и эксперт-человек».
Результаты, опубликованные 2 октября в журнале ACS Nano, указывают на новую эру автономных исследований, где системы ИИ работают вместе с людьми для разработки экспериментов, управления приборами и интерпретации данных.
Группа Вана изучает двумерные (2D) материалы — кристаллы толщиной в один или несколько атомов, которые являются перспективными кандидатами для полупроводников следующего поколения, датчиков и квантовых устройств. Их исключительные электрические свойства и гибкость делают их идеальными для электроники, но дефекты изготовления могут поставить под угрозу эти преимущества. Определение того, как слои накладываются друг на друга и содержат ли они микроскопические дефекты, требует кропотливой работы и многолетнего обучения.
«Для характеристики этих материалов обычно нужен кто-то, кто понимает все нюансы изображений, полученных с помощью микроскопа, — сказал Ван. — Аспирантам требуются месяцы или годы занятий на высоком уровне и опыта, чтобы достичь этого уровня».
Чтобы ускорить процесс, команда Вана подключила к ChatGPT оптический микроскоп, что позволило модели выполнять базовые операции, такие как перемещение образца, фокусировка изображения и регулировка уровня освещённости.
Вдобавок к этому была использована модель SAM, модель машинного зрения с открытым исходным кодом, предназначенная для идентификации отдельных объектов, которые в случае образцов материалов включают области, содержащие дефекты, и чистые участки.
Вместе два ИИ-инструмента стали мощным инструментом в лаборатории, своего рода виртуальным лаборантом, который мог видеть, анализировать и действовать самостоятельно.
Для превращения общего ИИ в надёжного научного партнёра лаборатории Вана потребовалась значительная настройка. SAM могла распознавать области на микроскопических изображениях, но ей было сложно работать с перекрывающимися слоями, что является распространённой проблемой в материаловедении. Чтобы преодолеть это, они добавили алгоритм топологической коррекции для уточнения этих областей, выделяя однослойные участки из многослойных стопок.
Наконец, команда попросила систему отсортировать выделенные области по их оптическим характеристикам, что ChatGPT мог сделать автономно.
Результаты были замечательными: в диапазоне двумерных материалов ИИ-микроскоп соответствовал или превосходил человеческий анализ, выявляя слоистые области и тонкие дефекты с точностью до 99,4%. Система сохраняла такую производительность даже при работе с изображениями, полученными в несовершенных условиях, таких как переэкспозиция, плохая фокусировка или низкая освещённость, а в некоторых случаях обнаруживала несовершенства, невидимые человеческому глазу.
«Модель могла обнаружить границы зёрен в масштабах, которые люди не всегда могут увидеть, — сказала Цзинъюнь «Джолин» Ян, докторант в лаборатории Вана и первый автор статьи. — Однако это не магия. Когда мы увеличиваем масштаб, ATOMIC может видеть на уровне пикселей, что делает его отличным инструментом для нашей лаборатории».
Находя и классифицируя микроскопические дефекты, система помогает группе Вана определять количество слоёв в двумерном материале и точно определять чистые участки, подходящие для последующих исследований. Эти высококачественные области затем могут быть использованы для других исследований в лаборатории Вана, таких как мягкая робототехника и электроника нового поколения.
Более того, система не требовала специализированных обучающих данных. Традиционные подходы глубокого обучения нуждаются в тысячах размеченных изображений. «Нулевой» метод Вана использовал уже существующий интеллект базовых моделей, обученных на обширных массивах человеческих знаний, для мгновенной адаптации.
Для Вана его воодушевление инновациями связано не только со скоростью. Он также учит своих студентов использовать технологии, которые у них есть, чтобы быть современными исследователями.
«В прошлом году ИИ сильно продвинулся вперёд, и доктор Ван сказал, что если мы не примем эту эпоху и не воспользуемся этими инструментами ИИ, они могут заменить нас, — сказала Ян. — Мы протестировали систему ATOMIC на многих образцах и в разных условиях, и она оказалась весьма надёжной».
Ван видит потенциальные приложения в различных дисциплинах, от химии до биологии, где утомительный оптический анализ часто замедляет прогресс. Упрощение этих рабочих процессов может открыть передовые исследования для студентов, инженеров-практиков или любого человека, у которого есть любопытство и микроскоп.
В то же время Ван подчёркивает важность участия человека в процессе. Базовые модели могут вести себя непредсказуемо, иногда выдавая разные результаты для одинаковых запросов. Его группа протестировала тысячи повторений, чтобы оценить надёжность, и обнаружила, что, хотя незначительные вариации и происходят, общая точность остаётся высокой.
«Цель не в том, чтобы заменить экспертизу; цель в том, чтобы усилить её, — сказал Ван. — Нам всё ещё нужны люди, чтобы интерпретировать то, что находит ИИ, и решать, что это значит. Но как только у вас появится партнёр, который может выполнить недели анализа за считанные секунды, возможности для новых открытий станут экспоненциальными».
Предоставлено
[Duke University](https://phys.org/partners/duke-university/)