В 2025 году локальные большие языковые модели (LLM) быстро развивались. Семейства с открытым весом, такие как Llama 3.1 (длина контекста 128K), Qwen3 (Apache-2.0, плотный + MoE), Gemma 2 (9B/27B, 8K ctx), Mixtral 8×7B (Apache-2.0 SMoE) и Phi-4-mini (3.8B, 128K ctx), теперь предлагают надёжные характеристики и первоклассные локальные средства запуска (GGUF/llama.cpp, LM Studio, Ollama), что делает вывод на месте и даже на ноутбуке практически осуществимым, если вы соответствуете длине контекста и квантованию VRAM.
Топ-10 локальных LLM (2025)
1. Meta Llama 3.1-8B — надёжная модель для повседневного использования, длина контекста 128K.
— Почему это важно. Стабильная, многоязычная базовая модель с длинным контекстом и первоклассной поддержкой в локальных инструментах.
— Характеристики. Плотный декодер только 8B; официальная длина контекста 128K; варианты с инструкциями и базовые варианты. Лицензия Llama (открытые веса). Существуют общие сборки GGUF и рецепты Ollama. Типичная настройка: Q4KM/Q5KM для ≤12–16 ГБ VRAM, Q6_K для ≥24 ГБ.
2. Meta Llama 3.2-1B/3B — модель для граничных вычислений, длина контекста 128K, удобна для устройств.
— Почему это важно. Маленькие модели, которые всё ещё принимают 128K токенов и приемлемо работают на CPU/iGPU при квантовании; хороши для ноутбуков и мини-ПК.
— Характеристики. Модели с инструкциями 1B/3B; длина контекста 128K подтверждена Meta. Хорошо работает через llama.cpp GGUF и многопотоковый стек LM Studio (CPU/CUDA/Vulkan/Metal/ROCm).
3. Qwen3-14B / 32B — открытая модель под лицензией Apache-2.0, сильная в использовании инструментов и многоязычности.
— Почему это важно. Широкое семейство (плотное + MoE) под лицензией Apache-2.0 с активным сообществом портов в GGUF; широко сообщается как способная общая/агентская «повседневная модель» локально.
— Характеристики. 14B/32B плотные контрольные точки с вариантами длинного контекста; современный токенизатор; быстрые обновления экосистемы. Начните с Q4KM для 14B на 12 ГБ; перейдите на Q5/Q6, когда у вас будет 24 ГБ+. (Qwen)
4. DeepSeek-R1-Distill-Qwen-7B — компактная модель для рассуждений, которая помещается.
— Почему это важно. Дистиллирован из следов рассуждений в стиле R1; обеспечивает пошаговое качество при 7B с широко доступными GGUF. Отлично подходит для математики/кодирования на скромном VRAM.
— Характеристики. 7B плотный; существуют варианты с длинным контекстом после преобразования; кураторские GGUF охватывают F32→Q4KM. Для VRAM 8–12 ГБ попробуйте Q4KM; для 16–24 ГБ используйте Q5/Q6.
5. Google Gemma 2-9B / 27B — эффективная плотная модель; 8K контекст (явно).
— Почему это важно. Высокое качество при небольших размерах и поведении при квантовании; 9B — отличная модель среднего уровня для локального использования.
— Характеристики. Плотные 9B/27B; 8K контекст (не преувеличивайте); открытые веса по условиям Gemma; широко упакованы для llama.cpp/Ollama. 9B@Q4KM работает на многих картах 12 ГБ.
6. Mixtral 8×7B (SMoE) — Apache-2.0 разреженная MoE; рабочая лошадка по соотношению цена/производительность.
— Почему это важно. Преимущества пропускной способности за счёт использования смеси экспертов при выводе: ~2 эксперта/токен выбираются во время выполнения; отличный компромисс, когда у вас есть ≥24–48 ГБ VRAM (или несколько GPU) и вы хотите более высокую общую производительность.
— Характеристики. 8 экспертов по 7B каждый (разреженная активация); Apache-2.0; варианты с инструкциями/базовые варианты; зрелые преобразования GGUF и рецепты Ollama.
7. Microsoft Phi-4-mini-3.8B — маленькая модель, 128K контекст.
— Почему это важно. Реалистичное «рассуждение с малым объёмом», 128K контекст и сгруппированное внимание к запросам; хорошо подходит для коробок с CPU/iGPU и инструментов, чувствительных к задержкам.
— Характеристики. 3.8B плотный; 200k словарный запас; выравнивание SFT/DPO; модельная карта документирует 128K контекст и профиль обучения. Используйте Q4KM на ≤8–12 ГБ VRAM.
8. Microsoft Phi-4-Reasoning-14B — модель среднего размера для рассуждений (проверьте ctx для каждой сборки).
— Почему это важно. Вариант с 14B, настроенный на рассуждения, который существенно лучше для задач в стиле цепочки мыслей, чем общие базовые модели 13–15B.
— Характеристики. Плотный 14B; контекст варьируется в зависимости от распределения (на модельной карте для общего выпуска указано 32K). Для 24 ГБ VRAM Q5KM/Q6_K удобен; для запуска со смешанной точностью (не-GGUF) требуется больше.
9. Yi-1.5-9B / 34B — двуязычная модель под лицензией Apache-2.0; варианты 4K/16K/32K.
— Почему это важно. Конкурентные EN/zh характеристики и разрешительная лицензия; 9B — сильная альтернатива Gemma-2-9B; 34B движется к более высокому уровню рассуждений под лицензией Apache-2.0.
— Характеристики. Плотный; контекстные варианты 4K/16K/32K; открытые веса под лицензией Apache-2.0 с активными картами/репозиториями HF. Для 9B используйте Q4/Q5 на 12–16 ГБ.
10. InternLM 2 / 2.5-7B / 20B — исследовательская модель; ветви, настроенные на математику.
— Почему это важно. Открытая серия с живым исследовательским ритмом; 7B — практическая локальная цель; 20B приближает вас к возможностям класса Gemma-2-27B (при большем VRAM).
— Характеристики. Плотный 7B/20B; несколько вариантов чата/базы/математики; активное присутствие HF. Распространены преобразования GGUF и пакеты Ollama.
Резюме
В локальных LLM компромиссы очевидны: выбирайте плотные модели для предсказуемой задержки и более простого квантования (например, Llama 3.1-8B с документированным контекстом 128K; Gemma 2-9B/27B с явным окном 8K), переходите на разреженные MoE, такие как Mixtral 8×7B, когда ваш VRAM и параллелизм оправдывают более высокую пропускную способность при затратах, и относитесь к небольшим моделям рассуждений (Phi-4-mini-3.8B, 128K) как к оптимальному варианту для коробок с CPU/iGPU. Лицензии и экосистемы имеют такое же значение, как и сырые оценки: релизы Qwen3 под лицензией Apache-2.0 (плотные + MoE) и карты моделей Meta/Google/Microsoft дают вам операционные ограничения (контекст, токенизатор, условия использования), с которыми вы фактически будете работать.
С точки зрения времени выполнения стандартизируйте использование GGUF/llama.cpp для обеспечения переносимости, используйте Ollama/LM Studio для удобства и разгрузки оборудования, а также подбирайте квантование (Q4→Q6) в соответствии с вашим бюджетом памяти.
Вкратце: выбирайте по контексту + лицензии + пути аппаратного обеспечения, а не только по рейтингам на доске лидеров.
1. Какие модели из перечисленных подходят для использования на устройствах с ограниченными вычислительными ресурсами, например, на ноутбуках или мини-ПК?
Ответ: для использования на устройствах с ограниченными вычислительными ресурсами подходят модели Meta Llama 3.2-1B/3B и Microsoft Phi-4-mini-3.8B. Они удобны для устройств и поддерживают длину контекста 128K.
2. Какие модели из перечисленных имеют лицензию Apache-2.0 и какие преимущества это даёт?
Ответ: модели Qwen3-14B / 32B, Yi-1.5-9B / 34B и InternLM 2 / 2.5-7B / 20B имеют лицензию Apache-2.0. Лицензия Apache-2.0 позволяет использовать модель под определёнными условиями и способствует развитию сообщества разработчиков.
3. Какие модели из перечисленных имеют большой контекст и как это влияет на их использование?
Ответ: модели Meta Llama 3.1-8B, Qwen3-14B / 32B, Microsoft Phi-4-mini-3.8B и Microsoft Phi-4-Reasoning-14B имеют большой контекст (128K). Большой контекст позволяет моделям обрабатывать более длинные входные данные и выполнять более сложные задачи.
4. Какие модели из перечисленных подходят для математических задач и почему?
Ответ: модель InternLM 2 / 2.5-7B / 20B подходит для математических задач, поскольку она является исследовательской моделью с ветвями, настроенными на математику. Это делает её практическим инструментом для решения математических задач.
5. Какие компромиссы следует учитывать при выборе локальной большой языковой модели?
Ответ: при выборе локальной большой языковой модели следует учитывать компромиссы между плотностью модели и пропускной способностью, размером VRAM и требуемым контекстом, а также лицензией и экосистемой. Например, плотные модели обеспечивают предсказуемую задержку и более простое квантование, в то время как разреженные MoE предлагают более высокую пропускную способность при затратах.