Локальный AI на одной RTX 3060 12GB: тест за $769

Что в ролике
Если вам нужен локальный AI-сервер на одной видеокарте, автор проверяет, справляется ли Strata Local AI с одиночной GeForce RTX 3060 на 12 ГБ. Он даёт системе задачу изучить страницу семейства процессоров E5 V4 и репозиторий Strata, чтобы сравнить влияние E5-2695 V4 и E5-2696 V4 на производительность. На обработке длинного документа генерация заняла 617 секунд, вышло 32 тысячи токенов со средней скоростью 49,2 токена в секунду, при этом загрузка VRAM была высокой, а доля передачи данных через PCIe составила 56,2 процента. Затем модель распознала рукописный рецепт бананово-шоколадного кекса, включая зачёркнутую температуру «350, зачёркнуто 325, на 30–35 минут». Также показана настройка агента Hermes через внутренний HTTP-эндпоинт на порту 9877 с размером контекстного окна 64K. В такой конфигурации субагенты не запускаются из-за размера пакета, установленного в один, а нужны пакет два или четыре и вторая видеокарта либо больше оперативной памяти. Сборка с 64 ГБ оперативки, процессором E5-2695 V4, видеокартой 3060 и одним переходником питания обходится в 769 долларов.
Практика
- Что получишь
- Поймёте, реально ли запустить Strata Local AI и агента Hermes на одной 3060 12GB и во что это обойдётся, до сборки своей машины.
- Первый шаг
- Скачать Strata и настроить custom endpoint в Hermes на порт 9877, выставив контекстное окно 64K.
- Цифры
- —49,2 токена в секунду — средняя скорость генерации на длинной задаче
- —56,2 процента — доля передачи данных через PCIe при работе
- —64K — размер контекстного окна, который выставили для Hermes
- —$769 — цена сборки с одной 3060, 64 ГБ RAM и процессором 2695 V4
- Честно
- Автор продвигает свой сайт digital spaceport.com с отслеживанием цен на GPU и просит подписаться на канал; цены на компоненты с eBay меняются, а сборка за $769 использует процессор 2695 V4 вместо 2696 V4. Настройки показаны на экране: команды для подключения Hermes и порт 9877, но полная установка Strata не повторяется — отсылка к предыдущему видео.
Если слова незнакомы — 4 терминов
- VRAMвидеопамять видеокарты, куда помещается модель
- PCIeшина обмена данными между процессором и видеокартой
- контекстное окнообъём текста, который модель удерживает в памяти за один раз
- субагентвспомогательный агент, запускаемый другим агентом для отдельной задачи
Связки из этого ролика
2 шт.- Strata Local AI + RTX 3060 12GB
- Strata Local AI + Hermes agent
Компоненты
3 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник