Локальный 27B-кодер в 12,3 ГБ: стоит ли заменять облако

Что в ролике
Если хочется запускать кодинг локально, создатель Orca SAQ2 обещает модель на 27 миллиардов параметров, сжатую до файла 12,3 ГБ, которая на бенчмарке Terminal Bench 2,1 набрала 58,4 балла — почти как Sonnet 4 6 с 58,5 баллами, но при сравнении использовались разные агентные обвязки. Эта цифра не доказывает замену frontier-модели: сжатие до 12,3 ГБ — это только файл загрузки, а для работы нужна дополнительная память под контекст, инструменты и историю. Автор подчёркивает, что на видеокарте 16 ГБ модель поместится только при ограничении контекста примерно 32 000 токенов, и даже официальный пресет не проверен на этом лимите. Для запуска нужен не обычный llama cpp, а экзотический EXL3-формат и плагин Orca Router с поддержкой VLM, иначе модель не загрузится, а парсер инструментов должен точно совпадать с шаблоном Quen 3 XML. Спекулятивное декодирование ускоряет одиночный поток с 65,3 до 90,1 токенов в секунду при лимите памяти 15,7 ГБ, но при восьми одновременных запросах общая пропускная способность падает с 332 до 220 токенов в секунду. Проверить модель предлагается на небольшом повторяемом сценарии, например починке даты в парсере с фиксированными тестами, сравнив её с несжатой версией через один и тот же харнесс. В итоге модель подойдёт тем, у кого уже есть совместимое железо и тестируемые текстовые задачи, но не тем, кто ждёт полной замены облака или мультимодальности.
Практика
- Что получишь
- Понимание, что реально означает файл 12,3 ГБ, какие требования к памяти и софту, и как проверить модель на своей задаче перед заменой облака.
- Первый шаг
- Скачать репозиторий Orca SAQ2 и запустить его с EXL3-плагином, ограничив контекст 32 000 токенов, затем подать небольшую тестовую задачу с автоматическими тестами.
- Цифры
- —12,3 ГБ — размер файла загрузки сжатой модели, без учёта рабочей памяти
- —58,4 против 58,5 балла — результаты Orca SAQ2 и Sonnet 4.6 на Terminal Bench 2.1, но при разных агентных обвязках
- —93,2% — совпадение top-выборов с несжатой версией на тесте WikiText-2
- —65,3 до 90,1 токенов/с — ускорение одиночного потока при включении спекулятивного декодирования, но при лимите 15,7 ГБ памяти
- Честно
- Автор не проводил собственного тестирования, а разбирает заявленные метрики, и в конце ролика призывает подписаться на канал, но продукта не продаёт. Полный рецепт квантования не раскрыт, а часть цифр из карточки модели не проверена на 16 ГБ. Для повторения потребуется совместимая видеокарта и специфичный софт — обычный llama cpp не подойдёт.
Если слова незнакомы — 6 терминов
- бенчмаркстандартизированный тест для сравнения моделей
- квантованиесжатие чисел модели для уменьшения размера файла
- токенфрагмент текста (слово или часть слова), который модель читает за раз
- контекстобъём текста, который модель держит в памяти во время диалога
- спекулятивное декодированиеметод, где вспомогательная модель предлагает варианты продолжения, а основная проверяет их быстрее
- frontier-модельпередовая облачная модель, задающая верхний уровень качества
Компоненты
3 шт.Формат: разбор · для практикующих · уверенность разметки 0.82 · источник