Moonshot AI выпускает Kimi K2: модель MoE с триллионом параметров, ориентированную на длинный контекст, код, рассуждения и агентское поведение
Kimi K2, представленная Moonshot AI в июле 2025 года, — это специально разработанная модель Mixture-of-Experts (MoE) с открытым исходным кодом — 1 триллион параметров в общей сложности, 32 миллиарда активных параметров на токен. Она обучена с использованием специального оптимизатора MuonClip на 15,5 триллионах токенов, что обеспечивает стабильное обучение в этом беспрецедентном масштабе без типичных нестабильностей, … Читать далее