Учреждения, занимающиеся разработкой искусственного интеллекта, создают гетерогенные модели для решения конкретных задач, но сталкиваются с проблемой нехватки данных при обучении. Традиционное федеративное обучение (FL) поддерживает только сотрудничество однородных моделей, которые требуют идентичной архитектуры у всех клиентов. Однако клиенты разрабатывают архитектуры моделей в соответствии со своими уникальными требованиями.
Кроме того, обмен моделями, обучение которых потребовало значительных усилий, содержит интеллектуальную собственность и снижает заинтересованность участников в сотрудничестве. Гетерогенное федеративное обучение (HtFL) устраняет эти ограничения, но в литературе отсутствует единый эталон для оценки HtFL в различных областях и аспектах.
Предпосылки и категории методов HtFL
Существующие эталоны FL фокусируются на неоднородности данных, используя однородные модели клиентов, но игнорируют реальные сценарии, связанные с неоднородностью моделей.
Представительные методы HtFL можно разделить на три основные категории:
1. Методы частичного обмена параметрами, такие как LG-FedAvg, FedGen и FedGH, поддерживают гетерогенные экстрактор признаков, предполагая при этом однородные головные классификаторы для передачи знаний.
2. Взаимная дистилляция, такая как FML, FedKD и FedMRL, обучает и разделяет небольшие вспомогательные модели с помощью методов дистилляции.
3. Методы обмена прототипами передают лёгкие прототипы классов в качестве глобальных знаний, собирая локальные прототипы от клиентов и объединяя их на серверах для управления локальным обучением.
Однако остаётся неясным, насколько существующие методы HtFL стабильно работают в различных сценариях.
Введение HtFLlib: единый эталон
Исследователи из Шанхайского университета Цзяо Тонг, Бэйхангского университета, Чунцинского университета, университета Тунцзи, Гонконгского политехнического университета и Королевского университета в Белфасте предложили первую библиотеку гетерогенного федеративного обучения (HtFLlib) — простой и расширяемый метод интеграции нескольких наборов данных и сценариев неоднородности моделей.
Этот метод включает:
* 12 наборов данных в различных областях, модальностях и сценариях неоднородности данных;
* 40 архитектур моделей, от небольших до крупных, в трёх модальностях;
* Модульную и легко расширяемую кодовую базу HtFL с реализацией 10 репрезентативных методов HtFL;
* Систематические оценки, охватывающие точность, сходимость, вычислительные затраты и затраты на связь.
Наборы данных и модальности в HtFLlib
HtFLlib содержит подробные сценарии неоднородности данных, разделённые на три настройки: Label Skew с патологическими и Дирихле в качестве поднастроек, Feature Shift и Real-World. Он объединяет 12 наборов данных, включая Cifar10, Cifar100, Flowers102, Tiny-ImageNet, KVASIR, COVIDx, DomainNet, Camelyon17, AG News, Shakespeare, HAR и PAMAP2.
Эти наборы данных значительно различаются по области, объёму данных и количеству классов, демонстрируя комплексный и универсальный характер HtFLlib.
Исследователи сосредоточены на данных изображений, особенно на настройке перекоса меток, поскольку задачи обработки изображений наиболее часто используются в различных областях. Методы HtFL оцениваются на задачах обработки изображений, текста и сенсорных сигналов, чтобы оценить их сильные и слабые стороны.
Анализ производительности: модальность изображений
Для данных изображений большинство методов HtFL демонстрируют снижение точности по мере увеличения неоднородности моделей. FedMRL демонстрирует превосходство благодаря сочетанию вспомогательных глобальных и локальных моделей.
При введении гетерогенных классификаторов, которые делают методы частичного обмена параметрами неприменимыми, FedTGP сохраняет превосходство в различных условиях благодаря своей способности адаптивной доработки прототипа.
Эксперименты с медицинскими наборами данных с использованием предварительно обученных гетерогенных моделей в чёрном ящике демонстрируют, что HtFL повышает качество модели по сравнению с предварительно обученными моделями и достигает больших улучшений, чем вспомогательные модели, такие как FML.
Для текстовых данных преимущества FedMRL в настройках перекоса меток уменьшаются в реальных условиях, в то время как FedProto и FedTGP работают относительно плохо по сравнению с задачами обработки изображений.
Заключение
В заключение исследователи представили HtFLlib — фреймворк, который устраняет критический пробел в бенчмарках HtFL, предоставляя единые стандарты оценки в различных областях и сценариях. Модульная конструкция и расширяемая архитектура HtFLlib обеспечивают детальный эталон как для исследований, так и для практических приложений в HtFL.
Более того, возможность поддержки гетерогенных моделей в совместном обучении открывает путь для будущих исследований по использованию сложных предварительно обученных больших моделей, систем «чёрного ящика» и различных архитектур для различных задач и модальностей.