К содержимому
Дайджест

Self-hosted LLM: как сказать «нет» кодинг-агентам

AI Engineer·9 ноября 2026·52:08
текст даёт основное понять, как устроено промо
Открыть на YouTube
Доклад для инженеров, которые хостят свои LLM и столкнулись с перегрузкой от кодинг-агентов: разбор admission control, сигналов, стратегий и бенчмаркинга.

Что в ролике

Когда кодинг-агенты отправляют десятки вызовов за пару секунд, self-hosted LLM нужен слой admission control, который решает, какой запрос пустить, отложить или отклонить до того, как он займёт память GPU. Авторы из Audible и SAP разбирают, почему gateway и роутер не видят занятость движка, а движок узнаёт о нехватке места уже после того, как сказал «да», поэтому admission-слой ставят на входе перед движком. Политика должна видеть и запрос (длина входа, клиент, сессия, дедлайн), и движок (заполненность KV cache, глубина очереди, попадания в кэш промптов), и возвращать admit, defer с retry-after или reject с кодом 429 или 529. Разбор стратегий показывает, что простой подсчёт запросов не защищает GPU, потому что короткий и длинный запросы считаются одинаково, а стоимость предсказывают по KV-памяти и токенам. Из четырёх researched-политик ни одна не подходит для кодинг-агентов на живом трафике: Clued Weight даёт 10–25% улучшения, Conqueror — 4x пропускной способности офлайн, QLM тратит 5 секунд на решение, а Kronos сводит пропуски дедлайнов с 99% до нуля, но все тестировались на разных движках. Для бенчмаркинга авторы предлагают считать goodput под admission, где отклонённые запросы идут в знаменатель, и описывать семь параметров, включая сигнал, повторяемость и конфигурацию. Они показывают результат на A10 с Qwen 2.5: с политикой очереди admit 63% запросов и P95 time-to-first-token падает с ~2,5 до ~1 секунды, при этом KV cache заполнен лишь на 0,5%, а вся нагрузка ушла в очередь глубиной 24 запроса. Для повторения предлагают открытый инструмент AdmitPerf, который в проде решает admit/defer/reject перед vLLM или SGLang, а в бенчмарке гоняет любую политику на реальном GPU и записывает решения.

Практика

Что получишь
Сможете понять, куда встроить admission control в свой self-hosted LLM, какие сигналы и коды ошибок использовать и как бенчмаркать политику, чтобы не обмануть себя метриками.
Первый шаг
Начните с запуска infra up из репозитория AdmitPerf на реальном GPU или с fake engine на ноутбуке, чтобы воспроизвести бенчмарк и посмотреть на решения политики.
Цифры
  • —40 вызовов за 2 секунды — столько запросов может отправить кодинг-агент на одно задание пользователя
  • —P95 time-to-first-token снизился с примерно 2,5 до 1 секунды при политике очереди, пропустившей 63% запросов
  • —KV cache на пике заполнен лишь на 0,5%, зато очередь выросла до 24 запросов
  • —QLM тратит 5 секунд на одно решение — слишком медленно для агентского трафика
Честно
Доклад продвигает открытые проекты авторов — handbook LLM inference at scale, фреймворк agentship и инструмент AdmitPerf; платного продукта нет, но это самопродвижение. Большая часть конкретики (восемь сигналов, семь пунктов раскрытия, команды AdmitPerf, формулы goodput) видна только на слайдах, в транскрипте она не полностью воспроизведена. Для повторения потребуется код из репозитория, так как примеры конфигураций и адаптеры движков не приведены текстом.
Если слова незнакомы — 5 терминов

Компоненты

4 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник