К содержимому
Дайджест

Flint: быстрый локальный кодер на смеси экспертов

Sam Witteveen·23 октября 2026·18:53
можно прочитать выбрать инструмент
Открыть на YouTube
Обзор новой локальной модели Flint от Recursive для тех, кто ищет быстрый инструмент для кодинга без больших GPU.

Что в ролике

Если вам не хватает скорости Qwen 3.8 27B при локальном запуске, Flint от Recursive решает это архитектурой смеси экспертов: 40 млрд параметров всего, но 2,5 млрд активных на токен при 256 экспертах и шести выбираемых на каждый токен плюс один общий. В 35 из 49 слоёв используется скользящее окно на 500 токенов, а полное внимание только в 14 слоях, что даёт контекст до 262 тыс токенов и до 65 тыс выходных токенов. На Mac с движком Wreck он выдаёт 130 токенов в секунду, примерно в 10 раз быстрее dense-модели Qwen, а бенчмарки показывают, что Flint обходит другие MoE-модели, но уступает Qwen 3.8 27B на Terminal Bench и SWE-bench. Recursive утверждает, что систему Eureka Machine с агентами использовали для поиска архитектуры, квантования и даже GPU-ядер, и построили модель с нуля менее чем за четыре месяца. Автор протестировал NVFP4-версию на RTX Pro 6000 и получил в среднем 200–212 токенов в секунду, при этом мышление модели оказалось подробным и временами слишком многословным. Для запуска доступны версии BFloat16, INT4, GGUF и NVFP4 на Hugging Face, а также интеграции с llama.cpp, LM Studio и vLLM/SGLang. Хотя бумаги по Eureka Machine нет, а детали работы системы не раскрыты, Flint уже можно считать интересным вариантом быстрого локального кодера для мощных Mac и GPU.

Практика

Что получишь
Понимание, подходит ли Flint как быстрая локальная модель для кодинга, и чем она отличается от dense-моделей. Практические ориентиры по железу и способам запуска.
Первый шаг
Загрузите NVFP4-версию Flint с Hugging Face и запустите её в llama.cpp или LM Studio, начиная с коротких исправлений кода и разбивая большие задачи на явные шаги.
Цифры
  • —130 токенов/с — скорость Flint на Mac в движке Wreck, примерно в 10 раз быстрее Qwen 3.8 27B
  • —200–212 токенов/с — средняя скорость генерации NVFP4-версии на RTX Pro 6000 в демо
  • —40 млрд параметров всего и 2,5 млрд активных — архитектура Flint
  • —4 месяца — срок, за который Recursive построила модель с нуля
Честно
В видео нет прямой рекламы, но автор просит лайки и подписку. Кадры запуска на Mac взяты из промо-ролика Recursive, сам автор тестировал только NVFP4-версию на RTX Pro 6000. Бумага по Eureka Machine не опубликована, а детали её работы (сколько агентов, какие модели, сколько вычислений) не раскрыты; для повторения на Mac нужен движок Wreck, который пока ставится только на мощные Mac, а на CUDA такой оптимизации нет.
Если слова незнакомы — 7 терминов

Связки из этого ролика

5 шт.

Компоненты

9 шт.

Формат: обзор · для продвинутых · уверенность разметки 0.9 · источник