Haiku 5,5 или Qwen 27B: платить или гонять локально?

Что в ролике
Если вы выбираете между дешёвым API и локальной моделью, ключевые цифры такие: Claude Haiku 5,5 стоит 10 центов за миллион входных и 50 центов за миллион выходных токенов до 100 000 токенов промпта, а на общем индексе Artificial Analysis его дефолтный medium получает 34 балла — столько же, сколько Qwen 27B на максимальном режиме. В терминальном бенчмарке Terminal Bench Haiku решает 15% задач против 6% у Qwen, при этом одна задача на Haiku занимает около 127 секунд и стоит в среднем 5 центов, тогда как облачный Qwen у Alibaba генерирует почти 200 миллионов токенов, стоит $1,01 за задачу и идёт 18 минут. Локально на RTX 5090 4-битный Qwen тратит 5–11 минут на задачу и около 1–2 центов электричества, поэтому разница с Haiku — всего три-четыре цента, а новая карта за $1999 окупится после 49–63 тысяч задач или 6–16 месяцев непрерывной работы. Qwen обходит Haiku на automation bench с результатом 48% против 29–35% и на длинных документах со счётом 82% против 77%, но при максимальном усилии Haiku поднимает общий индекс до 43. Локальный запуск всё ещё оправдан для кода, который нельзя выносить с машины, для сессий длиннее 100 000 токенов, где цена Haiku вырастает в пять раз, и для ночных пакетных задач на уже купленной карте. Если у вас уже есть карта на 24–32 ГБ, включите MTP-флаг в llamacpp — на RTX 5090 скорость вырастает с 74,8 до 162,1 токена в секунду, а расход электричества падает примерно вдвое. Покупать новую видеокарту специально ради экономии на Haiku не имеет смысла, а сложные агентные баги лучше отдавать Sonnet или Opus, а не любой из этих двух моделей.
Практика
- Что получишь
- Чёткое сравнение цен, скорости и сценариев: поймёте, когда выгоднее платить за Haiku 5,5, а когда локальный Qwen всё ещё оправдан.
- Первый шаг
- Если у вас уже есть видеокарта на 24–32 ГБ, включите MTP-флаг и прогоните на Qwen свою типовую задачу, чтобы сравнить реальное время и качество с Haiku.
- Цифры
- —34:34 — общий индекс Artificial Analysis у Haiku 5,5 на medium и Qwen 27B на максимальном режиме
- —15% против 6% — доля решённых задач в Terminal Bench у Haiku и Qwen
- —5 центов против $1,01 — средняя стоимость одной задачи на Haiku и на облачном Qwen от Alibaba
- —49–63 тысячи задач — столько нужно прогнать на новой RTX 5090, чтобы экономия на токенах окупила $1999
- Честно
- В середине ролика автор просит подписаться, поставить лайк и оставить комментарий — это единственное продвижение. Расчёты электричества и окупаемости сделаны самим автором на основе замеров community tester, а локальные скорости получены на коротких промптах с выключенным «мышлением», поэтому для длинных агентных сессий с большим контекстом они могут быть оптимистичнее; точную команду для включения MTP-флага в llamacpp придётся искать отдельно.
Если слова незнакомы — 4 терминов
- токенфрагмент текста, который модель читает или генерирует, и за который берут оплату
- APIспособ обращаться к модели через интернет по тарифу провайдера
- MTPрежим в llamacpp, при котором модель заранее предсказывает несколько токенов и проверяет их, ускоряя генерацию
- 4-битныйсжатие весов модели, чтобы она поместилась на видеокарту с небольшой потерей качества
Компоненты
9 шт.Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник