К содержимому
Дайджест

FriendliAI: та же модель, но разный провайдер и скорость

AI Engineer·11 октября 2026·13:04
можно прочитать что произошло промо
Открыть на YouTube
Доклад инженера FriendliAI о том, почему при одинаковых весах модели скорость, цена и надёжность зависят от провайдера инференса, и как устроен их инференс-движок.

Что в ролике

Если вы выбираете, где запускать open-weight модель уровня GLM 5.2, этот доклад показывает, что провайдер инференса решает не меньше самой модели. Спикер запускает одинаковую задачу на GLM 5.2 и Claude Opus 4.8: tower defense по одному промпту у обеих моделей работает, но GLM 5.2 обходится более чем в 5,6 раза дешевле. На примере мобильной игры в стиле Candy Crush он сравнивает одного и того же кодинг-агента на GLM 5.2: FriendliAI генерирует результат за две минуты, а другой провайдер — дольше трёх минут. Разница, по его словам, зашита в инференс-стеке: кэш, роутинг, квантизация, спекулятивное декодирование и железо. В агентных сценариях до 90% токенов входа повторяются между запросами, поэтому FriendliAI переиспользует префиксы через cache-aware роутинг и иерархический KV-кэш: горячие блоки в GPU-памяти, тёплые в CPU RAM, холодные на NVMe-диске. Для скорости генерации FriendliAI комбинирует model-based и model-free спекулятивное декодирование, а драфт-модель самообучается на реальном трафике. Отдельно спикер подчёркивает надёжность: по его данным, аптайм FriendliAI для GLM 5.1 Pro превышает 99,9%, а платформа Kilo Code в сплит-тесте зафиксировала ускорение более чем в семь раз и меньше ошибок.

Практика

Что получишь
Понять, какие технические компоненты — кэш, роутинг, спекулятивное декодирование — влияют на скорость и цену API, и как сравнивать провайдеров на своей задаче, а не по общим бенчмаркам.
Первый шаг
Взять свой реальный промпт и агентный воркфлоу и прогнать его на FriendliAI параллельно с текущим провайдером, замерив латентность, ошибки и стоимость.
Цифры
  • —5,6 раза дешевле — стоимость генерации tower defense на GLM 5.2 по сравнению с Claude Opus 4.8 в эксперименте спикера
  • —2 минуты против более 3 минут — время генерации Candy Crush-подобной игры на GLM 5.2 у FriendliAI и у другого провайдера
  • —99,9% — заявленный аптайм FriendliAI для GLM 5.1 Pro по снапшоту
  • —более чем в 7 раз — ускорение FriendliAI в сплит-тесте Kilo Code по сравнению с другими провайдерами
Честно
Это доклад представителя FriendliAI, цель — привлечь на платформу, поэтому независимых сравнений и методик нет. Часть цифр — заявления компании и один отзыв Kilo Code, а скриншоты сравнений видны только на экране. Точные настройки инференс-стека и код не показаны, поэтому повторить оптимизации по видео нельзя.
Если слова незнакомы — 9 терминов

Компоненты

8 шт.

Формат: анонс продукта · для практикующих · уверенность разметки 0.85 · источник