Flint: 131 токен/с против 13, но задачи идут в 8 раз дольше

Что в ролике
Лаборатория Recursive Ричарда Сочер, привлёкшая $650 млн, выпустила Flint — смесь экспертов на 39,8 млрд параметров, где активны лишь 2,5 млрд. Это даёт 131 токен/с на MacBook Pro с M4 Pro против 13 у Qwen Dense 27B, но экономии времени нет: модель всегда рассуждает, и в тесте на 14 задачах потратила 45 082 токена против 2 732 у Qwen, завершив работу в 8 раз позже при точности 12/14 против 10/14. На агентных задачах в OpenCode обе модели решили по 7 из 10, но Flint тратил в среднем 3,9 минуты против 30 секунд. При длинном контексте скорость падает до 68,89 токенов/с, а префилл 26-тысячного промпта занимает около 90 секунд. Зато в коротких, чётко определённых задачах Flint выигрывает: в тесте Time make agent прошёл 12 из 18 запусков за 375 секунд, тогда как сравниваемая модель — 14 из 18 за 1 749 секунд. Модель бесплатна, под Apache, доступна на OpenRouter и в OpenCode, лучше всего работает на Mac с 48 ГБ и чипом M4 Pro/M5 Pro, где собственный движок Rec ускоряет инференс. Из-за отсутствия настройки рассуждений и задокументированных зацикливаний на агентной работе Flint пока подходит для коротких правок, а не как замена основному кодеру.
Практика
- Что получишь
- Поймёте, стоит ли пробовать Flint на своём железе: где он действительно быстрее, а где проигрывает из-за неконтролируемых рассуждений. Узнаете, как правильно тестировать его — по времени задачи, а не по токенам в секунду.
- Первый шаг
- Попробуйте Flint бесплатно на OpenRouter или в OpenCode и запустите одну короткую задачу с тестами, замерив время от отправки до прохождения.
- Цифры
- —131 токен/с — скорость Flint на MacBook Pro с M4 Pro, против 13 у Qwen Dense 27B
- —45 082 токена — столько Flint потратил на 14 задач, тогда как Qwen обошёлся 2 732
- —3,9 минуты — среднее время задачи Flint в OpenCode против 30 секунд у Qwen
- —12 из 18 — столько запусков прошёл Flint в тесте Time make agent за 375 секунд, а соперник прошёл 14 из 18 за 1 749 секунд
- Честно
- Автор не продаёт курс и не использует партнёрских ссылок; он ведёт канал и обещает дальнейшие тесты. Часть сравнений (например, преимущество движка Rec) основана на заявлениях Recursive, а не на независимых воспроизводимых замерах. Для повторения практических тестов понадобится Mac с 48 ГБ памяти и чипом M4 Pro/M5 Pro, иначе собственный движок Rec не запустится.
Если слова незнакомы — 5 терминов
- смесь экспертовархитектура модели, где на каждый токен работает лишь небольшой набор специализированных блоков, что экономит вычисления
- токенминимальная единица текста (слово или часть слова), которую модель генерирует за один шаг
- инференспроцесс генерации ответа моделью, требующий загрузки весов из памяти
- префиллэтап чтения и обработки входного промпта перед началом генерации
- агентные задачизадания, где модель сама выполняет последовательность действий, например пишет код и запускает тесты
Связки из этого ролика
4 шт.- llama.cpp + Vulkan + Unsloth 4-bit
- MLX on macOS
- vLLM + NVFP4 on RTX Pro 6000
- OpenCode + Flint
Компоненты
11 шт.Формат: обзор · для продвинутых · уверенность разметки 0.88 · источник