Андрей Карпати выпустил nanochat: компактный и независимый от зависимостей код, который реализует полный стек в стиле ChatGPT — от обучения токенизатора до вывода в веб-интерфейсе. Проект направлен на воспроизводимое и модифицируемое обучение больших языковых моделей на одном узле с несколькими GPU.
Основные характеристики nanochat Репозиторий предоставляет односценарный «спидран», который выполняет полный цикл: токенизация, базовое предварительное обучение, промежуточное обучение на данных чата/многовариантных/инструментальных данных, контролируемая тонкая настройка (SFT), опциональное RL на GSM8K, оценка и обслуживание (CLI + веб-интерфейс, похожий на ChatGPT). Рекомендуемая настройка — узел 8×H100; при стоимости примерно 24 доллара в час 4-часовой спидран обойдётся примерно в … Читать далее