Uni-MoE-2.0-Omni: открытая омнимодальная модель на основе Qwen2.5-7B для понимания текста, изображений, аудио и видео
Команда исследователей из Харбинского технологического института, Шэньчжэнь, представила Uni-MoE-2.0-Omni — полностью открытую омнимодальную большую модель, которая продвигает линейку Uni-MoE в сторону языково-ориентированных мультимодальных рассуждений. Система обучена с нуля на плотной основе Qwen2.5-7B и расширена до архитектуры Mixture of Experts с динамической маршрутизацией мощностей, прогрессивным обучением с учителем и подкреплением, а также примерно на 75 миллиардах … Читать далее