Инференс на краю, отказы и физика дата-центров

Что в ролике
Командам, которые запускают модели в проде, теперь важнее не только обучение: инференс стал доминирующей нагрузкой, и его объём растёт экспоненциально, особенно с распространением агентов. Джоанна Ренчин из Runway объясняет, что мощности упираются в физические ограничения, поэтому инференс уходит на край сети — ближе к пользователю и туда, где уже есть электричество. Роберт Нишихара из Anyscale добавляет, что из-за масштаба и стоимости уходит чистое разделение слоёв: разработчику RL-нагрузок приходится разбираться в отказах железа и топологии кластера. На практике всё ломается на каждом уровне: от CUDA-исключений и тихого повреждения чисел до ошибок Kubernetes, а один из способов поймать сбой на GPU — пересчитывать активации и сравнивать хеши. Runway прошла через миллиарды запросов и перешла от оптимизации BIOS и ядра к собственным серверам, охлаждению и модульным дата-центрам, потому что CPU и перегрев тормозили GPU. Для экономии важнее не один оптимальный джоб, а приоритизация и preemption между множеством задач, чтобы compute не простаивал, плюс гетерогенное железо — разделение на prefill и decode и разные ускорители. Ближайшие годы ограничивают физика и понятность системы: электростанции строятся 5–10 лет, а чёрный ящик в стеке рано или поздно мешает отладке.
Практика
- Что получишь
- Общее понимание, почему инференс уходит на край сети, какие сбои ловятся только на уровне приложения и почему оптимизация одного джоба не снижает общий бюджет на compute.
- Первый шаг
- Если вы отвечаете за AI-нагрузки, начните с аудита того, где сейчас простаивает compute в ваших кластерах и можно ли туда пускать фоновые инференс-задачи.
- Цифры
- —3–4 года — на такой срок компании берут кластеры в аренду, поэтому сразу планируют смешанное использование под обучение и инференс
- —5–10 лет — столько строятся новые электростанции, поэтому быстрого роста мощности не будет
- —5 мегаватт — площадки, где можно разместить compute без замены трансформатора и подключения к водопроводу
- Честно
- Это запись панели с саммита Runway: она даёт стратегический обзор, а не пошаговую инструкцию, и конкретных команд или конфигураций для повторения нет. Участники представляют свои компании и упоминают собственные решения — Ray от Anyscale и модульные дата-центры Runway; явного промо продукта в выпуске нет, но примеры с BIOS, ядром и серверами описаны только на словах. Цифры про стоимость или окупаемость не называются.
Если слова незнакомы — 6 терминов
- инференсвыполнение модели для получения ответа, в отличие от обучения
- RL-нагрузкизадачи обучения с подкреплением, где модель учится методом проб и ошибок
- CUDAплатформа для вычислений на GPU
- Kubernetesсистема оркестрации контейнеров
- preemptionприоритетное вытеснение задач, чтобы освободить compute под более важные
- prefill/decodeдве стадии обработки запроса к языковой модели
Компоненты
4 шт.Формат: интервью · для бизнеса · уверенность разметки 0.9 · источник