Зачем агентам 2 ТБ RAM: тест на 256 ГБ

Что в ролике
Если вы собираете машину для локальных агентов, тест Алекса Зискинда показывает, зачем AMD Halo Station анонсировала 2 ТБ системной RAM и 576 ГБ HBM3. Он взял Threadripper Pro 9975WX с 128 ГБ, отбросил первый бенчмарк из-за смешения нагрузки CPU и GPU и написал Agent Headroom: запуск растущего числа кодинг-агентов, чьи разговоры между ходами паркуются в системной RAM. На 128 ГБ с двумя RTX Pro 6000 (192 ГБ VRAM) 12 агентов завершали задачи, а на 16 — 10 падали, при этом swap держался на нуле, а CPU — около 6%, то есть узким местом была именно RAM. Затем автор поставил одну Radeon R9700 с 32 ГБ VRAM: модель Link 3.0 Flash на 124 млрд параметров и 131 тыс. контекста заняла только 5,5 ГБ VRAM, около 90 ГБ ушло в системную память, и скорость составила 38 токенов/с. С такой картой GPU стал ограничением параллелизма: она тянула 8 агентов одновременно против 12 у RTX, но большие модели работали за счёт RAM, а не VRAM. После замены памяти на 256 ГБ те же 12 агентов выполнили ту же работу за 59 минут вместо 85, все дошли до конца и без единой пересборки разговора; 16 агентов тоже завершились при пике RAM около 150 ГБ. Вывод: системная RAM определяет, какую модель вообще можно запустить, а VRAM — сколько агентов работать одновременно, и именно RAM, а не видеопамять, оказалась лимитом в первом тесте.
Практика
- Что получишь
- Понять, что в агентных сборках системная память важнее, чем кажется: она решает, какие модели помещаются, и влияет на число одновременно работающих агентов и время завершения задач.
- Первый шаг
- Скачать бенчмарк Agent Headroom с GitHub и прогнать его на своей машине, чтобы увидеть свой потолок по агентам при текущем объёме RAM.
- Цифры
- —2 ТБ — максимум системной памяти в AMD Halo Station, который автор сравнивает со своими 128 и 256 ГБ
- —12 агентов — потолок на 128 ГБ с двумя RTX Pro 6000; на 16 агентов 10 падали
- —59 минут против 85 — время выполнения одной и той же работы 12 агентов на 256 ГБ и 128 ГБ; на 128 ГБ из 12 финишировали только 2
- —150 ГБ — пик использованной RAM в тесте с 16 агентами на 256 ГБ
- Честно
- Ролик спонсирован ChatLLM Teams (сервис с доступом к моделям за $10/мес), память Kingston прислал автору бесплатно, а бенчмарк Agent Headroom выложен на GitHub, хотя детали разбора автор может оставить для платного members-видео. Сравнение карт не совсем чистое: Radeon R9700 — другой GPU и программный стек, а RTX Pro 6000 с 256 ГБ автор не тестировал. «Дешёвая» карта — это $2000 сейчас, и все числа показаны на экране, но в тексте ключевые цифры повторены.
Если слова незнакомы — 4 терминов
- VRAMвидеопамять внутри GPU, быстрая память для модели и вычислений
- HBM3тип быстрой памяти, размещённой рядом с GPU, используется в Halo Station
- токенминимальная единица текста, которую модель обрабатывает за один шаг
- swapобласть на диске, куда система сбрасывает часть RAM при нехватке памяти
Компоненты
14 шт.Формат: разбор кейса · для продвинутых · уверенность разметки 0.8 · источник