К содержимому
Дайджест

Qwen 27B сжали до 7,9 ГБ: что потеряли

Better Stack·24 октября 2026·8:51
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор квантованной модели Saluki 27B для тех, кто хочет запускать локальных AI-агентов без покупки большого GPU.

Что в ролике

Если вы пробовали запускать локальных AI-агентов, вам знакомы компромиссы: хочется модель, которая умеет вызывать инструменты, но не хочется покупать 80-гигабайтный GPU. Автор разбирает Underdog Saluki 27B — квантованную версию исходной 55-гигабайтной Qwen 27B, которая занимает всего 7,9 ГБ и за 10 дней набрала почти 400 тысяч загрузок. Вместо равномерного сохранения качества создатели специально заточили модель под tool calling: на собственном бенчмарке Underdog она набирает 88 баллов из 120 против 84 у полной модели и 76 у исходного 8,42 ГБ кванта от ISTA Lab. За это заплатили общей логикой: на AIME 2025 math результат упал с 96,7 до 79, а на SWE-bench verified — с 33 до 30. Работает Saluki на стандартных Llama.cpp и Ollama, а один пользователь запустил её на 12-гигабайтной RTX 3060 с контекстом 170 тысяч токенов на 22 токенах в секунду. Есть нюансы: меньший файл не гарантирует более быстрого агента — на DGX Spark Saluki оказался медленнее из-за prefill, а все заявленные цифры взяты с карточки модели и ещё не подтверждены независимо.

Практика

Что получишь
Понимание, стоит ли ставить Saluki 27B для локальных агентов и какие компромиссы он вносит. Также узнаете, как запустить его на стандартных локальных инструментах.
Первый шаг
Скачать Saluki 27B с Hugging Face и запустить через Llama.cpp или Ollama, выключив thinking и выставив temperature 0.
Цифры
  • —7,9 ГБ — размер Saluki 27B против 55 ГБ у исходной полной модели
  • —88 из 120 — балл Saluki на бенчмарке tool calling Underdog, у полной модели 84, у исходного кванта ISTA — 76
  • —96,7 и 79 — баллы исходной модели и Saluki на AIME 2025 math (минус 17,7)
  • —22 токена в секунду — скорость на RTX 3060 12 ГБ с контекстом 170 000 токенов
Честно
Автор — Better Stack, в начале и конце ролика просит подписаться на канал с советами по кодингу; это не реклама конкретного платного продукта, но продвижение канала. Все заявленные бенчмарки взяты с карточки модели Underdog, независимого подтверждения нет. Детали обучения и full precision чекпоинт не опубликованы, поэтому повторить улучшение tool calling по видео нельзя.
Если слова незнакомы — 6 терминов

Компоненты

5 шт.

Формат: обзор · для практикующих · уверенность разметки 0.9 · источник