К содержимому
Дайджест

Считайте потоки, а не токены в секунду

Kai·7 ноября 2026·29:25
можно прочитать понять, как устроено пошагово
Открыть на YouTube
Разбор ошибки при выборе локального AI-железа: автор показывает, почему метрика «токенов в секунду» вводит в заблуждение при агентных нагрузках и что измерять вместо неё.

Что в ролике

Покупка GPU под локальный AI по метрике «токенов в секунду» для одиночного чата обманывает тех, кто запускает агентов и параллельные задачи, и автор признаётся, что сам заплатил за эту ошибку деньгами. На примере RTX 3090 он показывает, что при одном запросе карта выдаёт 45,4 токена в секунду, но при восьми одновременных запросах суммарная скорость вырастает до 298,4 токена в секунду — и всё благодаря батчингу, когда одни и те же веса модели переиспользуются для нескольких диалогов. Формула «пропускная способность памяти / размер модели» хороша для одного чата, но реальная работа упирается в тензорные ядра, которые при одном потоке заняты лишь на 3,5%, а остальное время простаивают. Автор разбирает замеры HyperQuen на RTX 3090, MIAI Lab на DGX Spark и сравнение Zeiss между Mac Studio и двумя Spark и показывает, что при восьми пользователях система от Nvidia вырывается вперёд, хотя в одиночных тестах проигрывает. Главный практический вывод: в самом популярном локальном сервере Ollama параметр num_parallel по умолчанию равен 1, поэтому даже продвинутые агентские сценарии работают как очередь, а не батч, и смена этого параметра на 4 бесплатна и занимает около пяти минут. Он добавляет оговорку: батчинг не бесплатен, поскольку каждый параллельный диалог требует свой KV-кэш, и при 64 сессиях с контекстом 32K токенов нужно 128 ГБ памяти только под кэш. В конце автор советует перед покупкой посчитать свои реальные потоки, а не самый большой размер модели, и приводит пример Revolut: 2000 инженеров на 56 Nvidia B200 получили стоимость около 30 центов за миллион токенов, что снизило их счёт на 90%.

Практика

Что получишь
Поймёте, почему суммарная скорость GPU резко растёт при батчинге, и сможете проверить, сколько потоков реально запускает ваша агентная система. Если вы на Ollama, поменяете один параметр и, возможно, ускорите уже имеющееся железо без покупки.
Первый шаг
Во время обычной рабочей сессии посмотрите, сколько одновременных запросов реально отправляет ваша агентная среда, и проверьте параметр num_parallel в Ollama (или слоты в llama.cpp server / VLLM).
Цифры
  • —45,4 токена/с — скорость RTX 3090 на одном запросе в тесте HyperQuen
  • —298,4 токена/с — суммарная скорость той же карты при 8 одновременных запросах
  • —1 500 долларов — примерная цена подержанной RTX 3090
  • —5 минут — столько занимает смена параметра num_parallel в Ollama
Честно
Автор никого не спонсирует и не продаёт курс, только просит лайк и подписку в конце. Цифры взяты из чужих тестов (HyperQuen, MIAI Lab, Zeiss), сам автор их не повторял, а ссылок и готовых файлов конфигурации в транскрипте нет — точную строку для Ollama придётся искать по названию параметра. Часть сравнений и графиков видна только на экране, поэтому для повторения замеров нужно смотреть оригинальные видео.
Если слова незнакомы — 5 терминов

Компоненты

8 шт.

Формат: разбор · для практикующих · уверенность разметки 0.8 · источник