FriendliAI: та же модель, но разный провайдер и скорость

Что в ролике
Если вы выбираете, где запускать open-weight модель уровня GLM 5.2, этот доклад показывает, что провайдер инференса решает не меньше самой модели. Спикер запускает одинаковую задачу на GLM 5.2 и Claude Opus 4.8: tower defense по одному промпту у обеих моделей работает, но GLM 5.2 обходится более чем в 5,6 раза дешевле. На примере мобильной игры в стиле Candy Crush он сравнивает одного и того же кодинг-агента на GLM 5.2: FriendliAI генерирует результат за две минуты, а другой провайдер — дольше трёх минут. Разница, по его словам, зашита в инференс-стеке: кэш, роутинг, квантизация, спекулятивное декодирование и железо. В агентных сценариях до 90% токенов входа повторяются между запросами, поэтому FriendliAI переиспользует префиксы через cache-aware роутинг и иерархический KV-кэш: горячие блоки в GPU-памяти, тёплые в CPU RAM, холодные на NVMe-диске. Для скорости генерации FriendliAI комбинирует model-based и model-free спекулятивное декодирование, а драфт-модель самообучается на реальном трафике. Отдельно спикер подчёркивает надёжность: по его данным, аптайм FriendliAI для GLM 5.1 Pro превышает 99,9%, а платформа Kilo Code в сплит-тесте зафиксировала ускорение более чем в семь раз и меньше ошибок.
Практика
- Что получишь
- Понять, какие технические компоненты — кэш, роутинг, спекулятивное декодирование — влияют на скорость и цену API, и как сравнивать провайдеров на своей задаче, а не по общим бенчмаркам.
- Первый шаг
- Взять свой реальный промпт и агентный воркфлоу и прогнать его на FriendliAI параллельно с текущим провайдером, замерив латентность, ошибки и стоимость.
- Цифры
- —5,6 раза дешевле — стоимость генерации tower defense на GLM 5.2 по сравнению с Claude Opus 4.8 в эксперименте спикера
- —2 минуты против более 3 минут — время генерации Candy Crush-подобной игры на GLM 5.2 у FriendliAI и у другого провайдера
- —99,9% — заявленный аптайм FriendliAI для GLM 5.1 Pro по снапшоту
- —более чем в 7 раз — ускорение FriendliAI в сплит-тесте Kilo Code по сравнению с другими провайдерами
- Честно
- Это доклад представителя FriendliAI, цель — привлечь на платформу, поэтому независимых сравнений и методик нет. Часть цифр — заявления компании и один отзыв Kilo Code, а скриншоты сравнений видны только на экране. Точные настройки инференс-стека и код не показаны, поэтому повторить оптимизации по видео нельзя.
Если слова незнакомы — 9 терминов
- инференсвыполнение запросов к модели
- open-weightмодель, у которой опубликованы веса
- токенединица текста, которую модель обрабатывает за один шаг
- промпттекст-задание, которое ты отправляешь модели
- KV-кэшпамять для промежуточных результатов внимания, позволяющая не пересчитывать одинаковые части
- cache-aware роутинготправка запроса на тот сервер, где уже хранится нужный префикс
- спекулятивное декодированиегенерация нескольких вариантов токенов с проверкой основной моделью
- драфт-модельмаленькая модель, которая предлагает варианты продолжения
- NVMeбыстрый тип SSD-накопителя
Компоненты
8 шт.Формат: анонс продукта · для практикующих · уверенность разметки 0.85 · источник