Flint: быстрый локальный кодер на смеси экспертов

Что в ролике
Если вам не хватает скорости Qwen 3.8 27B при локальном запуске, Flint от Recursive решает это архитектурой смеси экспертов: 40 млрд параметров всего, но 2,5 млрд активных на токен при 256 экспертах и шести выбираемых на каждый токен плюс один общий. В 35 из 49 слоёв используется скользящее окно на 500 токенов, а полное внимание только в 14 слоях, что даёт контекст до 262 тыс токенов и до 65 тыс выходных токенов. На Mac с движком Wreck он выдаёт 130 токенов в секунду, примерно в 10 раз быстрее dense-модели Qwen, а бенчмарки показывают, что Flint обходит другие MoE-модели, но уступает Qwen 3.8 27B на Terminal Bench и SWE-bench. Recursive утверждает, что систему Eureka Machine с агентами использовали для поиска архитектуры, квантования и даже GPU-ядер, и построили модель с нуля менее чем за четыре месяца. Автор протестировал NVFP4-версию на RTX Pro 6000 и получил в среднем 200–212 токенов в секунду, при этом мышление модели оказалось подробным и временами слишком многословным. Для запуска доступны версии BFloat16, INT4, GGUF и NVFP4 на Hugging Face, а также интеграции с llama.cpp, LM Studio и vLLM/SGLang. Хотя бумаги по Eureka Machine нет, а детали работы системы не раскрыты, Flint уже можно считать интересным вариантом быстрого локального кодера для мощных Mac и GPU.
Практика
- Что получишь
- Понимание, подходит ли Flint как быстрая локальная модель для кодинга, и чем она отличается от dense-моделей. Практические ориентиры по железу и способам запуска.
- Первый шаг
- Загрузите NVFP4-версию Flint с Hugging Face и запустите её в llama.cpp или LM Studio, начиная с коротких исправлений кода и разбивая большие задачи на явные шаги.
- Цифры
- —130 токенов/с — скорость Flint на Mac в движке Wreck, примерно в 10 раз быстрее Qwen 3.8 27B
- —200–212 токенов/с — средняя скорость генерации NVFP4-версии на RTX Pro 6000 в демо
- —40 млрд параметров всего и 2,5 млрд активных — архитектура Flint
- —4 месяца — срок, за который Recursive построила модель с нуля
- Честно
- В видео нет прямой рекламы, но автор просит лайки и подписку. Кадры запуска на Mac взяты из промо-ролика Recursive, сам автор тестировал только NVFP4-версию на RTX Pro 6000. Бумага по Eureka Machine не опубликована, а детали её работы (сколько агентов, какие модели, сколько вычислений) не раскрыты; для повторения на Mac нужен движок Wreck, который пока ставится только на мощные Mac, а на CUDA такой оптимизации нет.
Если слова незнакомы — 7 терминов
- смесь экспертов (MoE)архитектура, где для каждого токена работает только часть параметров, что ускоряет генерацию
- активные параметрыпараметры, которые читаются из памяти при обработке одного токена
- dense-модельмодель, где при каждом ответе задействуются все параметры
- квантованиесжатие весов модели до 4 бит с минимальной потерей точности
- NVFP4формат 4-битного квантования для видеокарт NVIDIA
- контекстобъём текста, который модель учитывает в одном запросе
- токенминимальная единица текста, которую модель обрабатывает
Связки из этого ролика
5 шт.- Flint + Ollama
- Flint + LM Studio
- Flint + llama.cpp
- Flint + SGLang
- Flint + Pi
Компоненты
9 шт.Формат: обзор · для продвинутых · уверенность разметки 0.9 · источник