Считайте потоки, а не токены в секунду

Что в ролике
Покупка GPU под локальный AI по метрике «токенов в секунду» для одиночного чата обманывает тех, кто запускает агентов и параллельные задачи, и автор признаётся, что сам заплатил за эту ошибку деньгами. На примере RTX 3090 он показывает, что при одном запросе карта выдаёт 45,4 токена в секунду, но при восьми одновременных запросах суммарная скорость вырастает до 298,4 токена в секунду — и всё благодаря батчингу, когда одни и те же веса модели переиспользуются для нескольких диалогов. Формула «пропускная способность памяти / размер модели» хороша для одного чата, но реальная работа упирается в тензорные ядра, которые при одном потоке заняты лишь на 3,5%, а остальное время простаивают. Автор разбирает замеры HyperQuen на RTX 3090, MIAI Lab на DGX Spark и сравнение Zeiss между Mac Studio и двумя Spark и показывает, что при восьми пользователях система от Nvidia вырывается вперёд, хотя в одиночных тестах проигрывает. Главный практический вывод: в самом популярном локальном сервере Ollama параметр num_parallel по умолчанию равен 1, поэтому даже продвинутые агентские сценарии работают как очередь, а не батч, и смена этого параметра на 4 бесплатна и занимает около пяти минут. Он добавляет оговорку: батчинг не бесплатен, поскольку каждый параллельный диалог требует свой KV-кэш, и при 64 сессиях с контекстом 32K токенов нужно 128 ГБ памяти только под кэш. В конце автор советует перед покупкой посчитать свои реальные потоки, а не самый большой размер модели, и приводит пример Revolut: 2000 инженеров на 56 Nvidia B200 получили стоимость около 30 центов за миллион токенов, что снизило их счёт на 90%.
Практика
- Что получишь
- Поймёте, почему суммарная скорость GPU резко растёт при батчинге, и сможете проверить, сколько потоков реально запускает ваша агентная система. Если вы на Ollama, поменяете один параметр и, возможно, ускорите уже имеющееся железо без покупки.
- Первый шаг
- Во время обычной рабочей сессии посмотрите, сколько одновременных запросов реально отправляет ваша агентная среда, и проверьте параметр num_parallel в Ollama (или слоты в llama.cpp server / VLLM).
- Цифры
- —45,4 токена/с — скорость RTX 3090 на одном запросе в тесте HyperQuen
- —298,4 токена/с — суммарная скорость той же карты при 8 одновременных запросах
- —1 500 долларов — примерная цена подержанной RTX 3090
- —5 минут — столько занимает смена параметра num_parallel в Ollama
- Честно
- Автор никого не спонсирует и не продаёт курс, только просит лайк и подписку в конце. Цифры взяты из чужих тестов (HyperQuen, MIAI Lab, Zeiss), сам автор их не повторял, а ссылок и готовых файлов конфигурации в транскрипте нет — точную строку для Ollama придётся искать по названию параметра. Часть сравнений и графиков видна только на экране, поэтому для повторения замеров нужно смотреть оригинальные видео.
Если слова незнакомы — 5 терминов
- батчингобработка нескольких запросов одновременно с переиспользованием одних и тех же весов модели
- KV-кэшпромежуточные данные каждого диалога, которые модель хранит, чтобы не перечитывать прошлый контекст
- тензорные ядраспециализированные блоки GPU для быстрых матричных вычислений
- контекствся предыстория диалога, которую модель видит при ответе
- токены в секундускорость генерации текста: сколько условных единиц слова модель выдаёт за одну секунду
Компоненты
8 шт.Формат: разбор · для практикующих · уверенность разметки 0.8 · источник