К содержимому
Дайджест

Свои AI-модели против API: бенчмарк imec

AI Engineer·31 октября 2026·18:30
можно прочитать можно повторить промо
Открыть на YouTube
Доклад Стивена Латре из imec о результатах бенчмарка для кодинг-ассистентов: сравнение точности, стоимости и требований к инфраструктуре при переходе с API на собственные open-weight модели.

Что в ролике

Если вы тратите деньги на API и хотите понять, при каких условиях выгоднее развернуть собственные модели, доклад Стивена Латре из imec даёт конкретные цифры на примере кодинг-ассистентов. Команда провела более тысячи прогонов на задачах SWE-bench Pro, сравнивая open-weight модели разных размеров — Qwen, DeepSeek, GLM и Kimi K3 — с разными харнессами (Codex и Cloud Code) и аппаратными конфигурациями. Точность решения задач варьировалась от 32–40% у Qwen и DeepSeek до 86% у Kimi K3, причём последний показатель, по словам автора, может быть завышен из-за попадания задач в обучающую выборку. Однако точность — не главное: при одинаковой точности двух моделей аренда GPU для одной из них может оказаться в четыре раза дороже, а переход от GLM к Kimi K3 даёт рост точности на 20 процентных пунктов при увеличении стоимости аренды лишь на 15%. Пропускная способность тоже критична: даже на мощном железе модель Kimi K3 комфортно обслуживает только 4 одновременных пользователя, а латентность остаётся в 3 раза выше, чем у облачного бейзлайна Cloud Code. Анализ полной стоимости владения показал, что на малых конфигурациях для окупаемости нужно держать утилизацию GPU на уровне 89%, что нереально, а на системе из 8 ускорителей B200 достаточно 15% — и только для моделей класса GLM и выше переход на свою инфраструктуру даёт экономию около 25%. Также выяснилось, что выбор харнесса почти не влияет на точность, но харнесс Codex генерировал вдвое меньше токенов, что снижает время работы GPU и итоговый счёт за аренду в два раза — это важно при собственной инфраструктуре. В итоге автор заключает, что выбор между API и своими моделями — нелинейное решение с множеством факторов, и анонсирует публичный бенчмарк-датасет и альянс для сближения разработчиков софта и железа.

Практика

Что получишь
Конкретные ориентиры для решения, когда переходить с API на собственные open-weight модели: пороги точности, стоимость аренды GPU, требуемая утилизация и влияние харнессов на расход токенов.
Первый шаг
Начать с оценки своих задач на моделях класса GLM и сравнить стоимость аренды GPU через облачных провайдеров с текущими расходами на API.
Цифры
  • —86% — доля задач SWE-bench Pro, решённых моделью Kimi K3
  • —4 раза — во столько может отличаться стоимость аренды GPU для моделей с одинаковой точностью (на примере Qwen и DeepSeek)
  • —4 пользователя — максимум одновременных пользователей для Kimi K3 без серьёзной деградации
  • —15% — достаточная утилизация GPU для окупаемости собственной инфраструктуры на системе из 8 B200
Честно
Автор не продаёт платный продукт, но продвигает создаваемый альянс imec и приглашает к сотрудничеству; бенчмарк-датасет пока не опубликован, только анонсирован. Часть цифр (например, точность Kimi K3 86%) сам автор считает возможно завышенной из-за утечки данных обучения. Результаты получены только на задачах кодинга, для других сценариев выводы могут не переноситься.
Если слова незнакомы — 5 терминов

Компоненты

8 шт.

Формат: разбор кейса · для бизнеса · уверенность разметки 0.85 · источник