К содержимому
Дайджест

Локальный 27B-кодер в 12,3 ГБ: стоит ли заменять облако

The Stack·1 октября 2026·10:43
можно прочитать понять, как устроено
Открыть на YouTube
Разбор локальной модели Orca SAQ2 (сжатая до 12,3 ГБ версия Quen 3 8 на 27 млрд параметров) для тех, кто хочет понять, стоит ли заменять облачного кодера на локального.

Что в ролике

Если хочется запускать кодинг локально, создатель Orca SAQ2 обещает модель на 27 миллиардов параметров, сжатую до файла 12,3 ГБ, которая на бенчмарке Terminal Bench 2,1 набрала 58,4 балла — почти как Sonnet 4 6 с 58,5 баллами, но при сравнении использовались разные агентные обвязки. Эта цифра не доказывает замену frontier-модели: сжатие до 12,3 ГБ — это только файл загрузки, а для работы нужна дополнительная память под контекст, инструменты и историю. Автор подчёркивает, что на видеокарте 16 ГБ модель поместится только при ограничении контекста примерно 32 000 токенов, и даже официальный пресет не проверен на этом лимите. Для запуска нужен не обычный llama cpp, а экзотический EXL3-формат и плагин Orca Router с поддержкой VLM, иначе модель не загрузится, а парсер инструментов должен точно совпадать с шаблоном Quen 3 XML. Спекулятивное декодирование ускоряет одиночный поток с 65,3 до 90,1 токенов в секунду при лимите памяти 15,7 ГБ, но при восьми одновременных запросах общая пропускная способность падает с 332 до 220 токенов в секунду. Проверить модель предлагается на небольшом повторяемом сценарии, например починке даты в парсере с фиксированными тестами, сравнив её с несжатой версией через один и тот же харнесс. В итоге модель подойдёт тем, у кого уже есть совместимое железо и тестируемые текстовые задачи, но не тем, кто ждёт полной замены облака или мультимодальности.

Практика

Что получишь
Понимание, что реально означает файл 12,3 ГБ, какие требования к памяти и софту, и как проверить модель на своей задаче перед заменой облака.
Первый шаг
Скачать репозиторий Orca SAQ2 и запустить его с EXL3-плагином, ограничив контекст 32 000 токенов, затем подать небольшую тестовую задачу с автоматическими тестами.
Цифры
  • —12,3 ГБ — размер файла загрузки сжатой модели, без учёта рабочей памяти
  • —58,4 против 58,5 балла — результаты Orca SAQ2 и Sonnet 4.6 на Terminal Bench 2.1, но при разных агентных обвязках
  • —93,2% — совпадение top-выборов с несжатой версией на тесте WikiText-2
  • —65,3 до 90,1 токенов/с — ускорение одиночного потока при включении спекулятивного декодирования, но при лимите 15,7 ГБ памяти
Честно
Автор не проводил собственного тестирования, а разбирает заявленные метрики, и в конце ролика призывает подписаться на канал, но продукта не продаёт. Полный рецепт квантования не раскрыт, а часть цифр из карточки модели не проверена на 16 ГБ. Для повторения потребуется совместимая видеокарта и специфичный софт — обычный llama cpp не подойдёт.
Если слова незнакомы — 6 терминов

Компоненты

3 шт.

Формат: разбор · для практикующих · уверенность разметки 0.82 · источник