Модели малого размера часто сталкиваются с проблемами из-за плохой настройки инструкций, слабых форматов использования инструментов и отсутствия управления. Команда IBM AI выпустила Granite 4.0 Nano — семейство небольших моделей, предназначенных для локальных и периферийных вычислений с корпоративным контролем и открытым лицензированием.
Что нового в серии Granite 4.0 Nano?
Семейство Granite 4.0 Nano включает 8 моделей двух размеров: 350M и около 1B, с гибридными вариантами SSM и трансформерами, каждый в базовой и инструктивной версиях. Модели серии Granite 4.0 Nano выпущены под лицензией Apache 2.0 с поддержкой нативной архитектуры в популярных средах выполнения, таких как vLLM, llama.cpp и MLX.
Размеры выпуска:
* Granite 13B — первые модели watsonx Granite.
* Code Models (open) — 3B, 8B, 20B, 34B code, base and instruct.
* Language Models 2B и 8B, base and instruct.
* 3.1 Language Models (HF) 1B A400M, 3B A800M, 2B, 8B.
* 3.2 Language Models (HF) 2B instruct, 8B instruct.
* 3.3 Language Models (HF) 2B base, 2B instruct, 8B base, 8B instruct.
* 4.0 Language Models 3B micro, 3B H micro, 7B H tiny, 32B H small.
* 4.0 Nano Language Models 1B H, 1B H instruct, 350M H, 350M H instruct, 2B transformer, 2B transformer instruct, 0.4B transformer, 0.4B transformer instruct.
Архитектура и обучение
Варианты H чередуют слои SSM со слоями трансформера. Этот гибридный дизайн уменьшает рост памяти по сравнению с чистым вниманием, сохраняя при этом универсальность блоков трансформера. Модели Nano не использовали сокращённый конвейер данных. Они были обучены с использованием той же методологии Granite 4.0 и более чем 15 триллионами токенов, затем настроены для обеспечения надёжного использования инструментов и выполнения инструкций.
Бенчмарки и конкурентный контекст
IBM сравнивает Granite 4.0 Nano с другими моделями менее 2B, включая Qwen, Gemma и LiquidAI LFM. Совокупные данные показывают значительное увеличение возможностей в области общих знаний, математики, кода и безопасности при аналогичных бюджетах параметров. По задачам с агентами модели превосходят несколько аналогов на IFEval и в Berkeley Function Calling Leaderboard v3.
Ключевые выводы
Команда IBM выпустила 8 моделей Granite 4.0 Nano, 350M и около 1B каждая, в гибридных вариантах SSM и трансформерах, в базовой и инструктивной версиях, все под лицензией Apache 2.0. Гибридные модели H, Granite 4.0 H 1B с примерно 1,5B параметрами и Granite 4.0 H 350M с примерно 350M, используют тот же рецепт обучения Granite 4.0 на более чем 15 триллионах токенов, поэтому возможности унаследованы от более крупного семейства, а не от сокращённой ветви данных.
IBM сообщает, что Granite 4.0 Nano конкурентоспособен с другими моделями менее 2B, такими как Qwen, Gemma и LiquidAI LFM, по общим, математическим, кодовым и безопасным параметрам, и что он превосходит их на IFEval и BFCLv3, что важно для агентов, использующих инструменты.
Все модели Granite 4.0, включая Nano, имеют криптографическую подпись, сертифицированы по ISO 42001 и выпущены для корпоративного использования, что обеспечивает происхождение и управление, которых не предоставляют типичные модели малого сообщества.
Модели доступны на Hugging Face и IBM watsonx.ai с поддержкой среды выполнения для vLLM, llama.cpp и MLX, что делает развёртывание на уровне локальных, периферийных устройств и в браузере реалистичным для начинающих инженеров по искусственному интеллекту и команд разработчиков программного обеспечения.
1. Какие проблемы решают модели Granite 4.0 Nano в контексте ИИ на периферийных устройствах?
Модели Granite 4.0 Nano решают проблемы, связанные с плохой настройкой инструкций, слабыми форматами использования инструментов и отсутствием управления. Они предназначены для локальных и периферийных вычислений с корпоративным контролем и открытым лицензированием.
2. Какие размеры и варианты моделей входят в семейство Granite 4.0 Nano?
В семейство Granite 4.0 Nano входят модели двух размеров: 350M и около 1B, с гибридными вариантами SSM и трансформерами, каждый в базовой и инструктивной версиях.
3. Какие среды выполнения поддерживают модели Granite 4.0 Nano?
Модели Granite 4.0 Nano поддерживают нативную архитектуру в популярных средах выполнения, таких как vLLM, llama.cpp и MLX.
4. С какими моделями сравнивает IBM Granite 4.0 Nano и какие результаты показывает?
IBM сравнивает Granite 4.0 Nano с другими моделями менее 2B, включая Qwen, Gemma и LiquidAI LFM. Совокупные данные показывают значительное увеличение возможностей в области общих знаний, математики, кода и безопасности при аналогичных бюджетах параметров. По задачам с агентами модели превосходят несколько аналогов на IFEval и в Berkeley Function Calling Leaderboard v3.
5. Какие дополнительные преимущества предоставляют модели Granite 4.0 Nano по сравнению с другими моделями малого размера?
Модели Granite 4.0 Nano имеют криптографическую подпись, сертифицированы по ISO 42001 и выпущены для корпоративного использования. Это обеспечивает происхождение и управление, которых не предоставляют типичные модели малого сообщества. Кроме того, модели доступны на Hugging Face и IBM watsonx.ai, что делает развёртывание на уровне локальных, периферийных устройств и в браузере реалистичным для начинающих инженеров по искусственному интеллекту и команд разработчиков программного обеспечения.