Свои AI-модели против API: бенчмарк imec

Что в ролике
Если вы тратите деньги на API и хотите понять, при каких условиях выгоднее развернуть собственные модели, доклад Стивена Латре из imec даёт конкретные цифры на примере кодинг-ассистентов. Команда провела более тысячи прогонов на задачах SWE-bench Pro, сравнивая open-weight модели разных размеров — Qwen, DeepSeek, GLM и Kimi K3 — с разными харнессами (Codex и Cloud Code) и аппаратными конфигурациями. Точность решения задач варьировалась от 32–40% у Qwen и DeepSeek до 86% у Kimi K3, причём последний показатель, по словам автора, может быть завышен из-за попадания задач в обучающую выборку. Однако точность — не главное: при одинаковой точности двух моделей аренда GPU для одной из них может оказаться в четыре раза дороже, а переход от GLM к Kimi K3 даёт рост точности на 20 процентных пунктов при увеличении стоимости аренды лишь на 15%. Пропускная способность тоже критична: даже на мощном железе модель Kimi K3 комфортно обслуживает только 4 одновременных пользователя, а латентность остаётся в 3 раза выше, чем у облачного бейзлайна Cloud Code. Анализ полной стоимости владения показал, что на малых конфигурациях для окупаемости нужно держать утилизацию GPU на уровне 89%, что нереально, а на системе из 8 ускорителей B200 достаточно 15% — и только для моделей класса GLM и выше переход на свою инфраструктуру даёт экономию около 25%. Также выяснилось, что выбор харнесса почти не влияет на точность, но харнесс Codex генерировал вдвое меньше токенов, что снижает время работы GPU и итоговый счёт за аренду в два раза — это важно при собственной инфраструктуре. В итоге автор заключает, что выбор между API и своими моделями — нелинейное решение с множеством факторов, и анонсирует публичный бенчмарк-датасет и альянс для сближения разработчиков софта и железа.
Практика
- Что получишь
- Конкретные ориентиры для решения, когда переходить с API на собственные open-weight модели: пороги точности, стоимость аренды GPU, требуемая утилизация и влияние харнессов на расход токенов.
- Первый шаг
- Начать с оценки своих задач на моделях класса GLM и сравнить стоимость аренды GPU через облачных провайдеров с текущими расходами на API.
- Цифры
- —86% — доля задач SWE-bench Pro, решённых моделью Kimi K3
- —4 раза — во столько может отличаться стоимость аренды GPU для моделей с одинаковой точностью (на примере Qwen и DeepSeek)
- —4 пользователя — максимум одновременных пользователей для Kimi K3 без серьёзной деградации
- —15% — достаточная утилизация GPU для окупаемости собственной инфраструктуры на системе из 8 B200
- Честно
- Автор не продаёт платный продукт, но продвигает создаваемый альянс imec и приглашает к сотрудничеству; бенчмарк-датасет пока не опубликован, только анонсирован. Часть цифр (например, точность Kimi K3 86%) сам автор считает возможно завышенной из-за утечки данных обучения. Результаты получены только на задачах кодинга, для других сценариев выводы могут не переноситься.
Если слова незнакомы — 5 терминов
- open-weight модельмодель с открытыми весами, которую можно запускать на своём железе
- харнесспрограммная обвязка для запуска языковой модели на конкретных задачах
- токенединица текста, за которую начисляется плата при использовании API
- латентностьзадержка между запросом и ответом модели
- утилизация GPUпроцент времени, когда графический ускоритель занят полезной работой, а не простаивает
Компоненты
8 шт.Формат: разбор кейса · для бизнеса · уверенность разметки 0.85 · источник