GTX 1080 Ti и 35B-модель: чат да, код с оговорками

Что в ролике
Если вы хотите запустить 35-миллиардную модель дома на дешёвой видеокарте, подержанная GTX 1080 Ti с 11 ГБ памяти стоит около $150, но 4-битная Qwen 3.5 35B занимает около 22 ГБ. Это смесь экспертов: из 256 специализированных сетей на каждый токен работают только 3 миллиарда параметров, поэтому активную часть можно держать на видеокарте, а остальных экспертов — в 32 ГБ обычной памяти. На такой сборке Мартин Эндрюс получил 24,11 токена в секунду с 8 ГБ GTX 1080, а на 1080 Ti с быстрым i9 — 16,8 токена в секунду, причём один процессор без видеокарты выдал 17,1. Если сжать модель до 2 бит, она целиком влезает в 11 ГБ, и проект PXA обещает 59,2 токена в секунду против 53,3 у обычного 2-битного сжатия, но качество ответов падает, а контекст ужимается до 8 192 токенов. Для чата этого достаточно: скорость выше скорости чтения, и видеокарта за $150 справляется. Для агентного кодинга, где системный промпт вместе с историей может занимать 20–30 тысяч токенов, этого контекста мало, и там нужна 16-гигабайтная RTX 5060 Ti за $740–800, которая читает длинный промпт за 80 секунд. Итог: для обычного общения и экспериментов 1080 Ti с 32 ГБ системной памяти — выгодный вариант, а для длинных сессий кодинга доплата за современную карту оправдана.
Практика
- Что получишь
- Поймёте, когда стоит брать 1080 Ti вместо RTX 5060 Ti: для чата и экспериментов хватит, для агентного кодинга — нет. Узнаете, сколько системной памяти нужно и какие скорости реально получить.
- Первый шаг
- Проверьте, сколько обычной памяти в вашем ПК, и если есть 32 ГБ, скачайте Qwen 3.5 35B и попробуйте запустить его на процессоре до покупки видеокарты.
- Цифры
- —$150 — цена б/у 1080 Ti, в пять раз дешевле RTX 5060 Ti за $740–800
- —24,11 токена/с — скорость на 8 ГБ GTX 1080 с 32 ГБ системной памяти
- —16,8 токена/с против 17,1 токена/с — скорость 1080 Ti с i9 и одного процессора без видеокарты
- —8 192 токенов — контекст 2-битной версии, тогда как агентный системный промпт может занимать 20–30 тысяч токенов
- Честно
- Автор ничего не продаёт, только просит подписаться на канал. Цифры PXA — из заметок самого проекта, а его бенчмарк сначала повторял одни и те же промпты, поэтому скорость 65 токенов/с стоит считать завышенной. Точные настройки разбиения слоёв и команды видны только на экране.
Если слова незнакомы — 6 терминов
- токенчасть слова или слово, на которые модель делит текст при генерации
- смесь экспертовархитектура, где на каждый токен работает только небольшая часть параметров
- 4-битное сжатиеокругление чисел модели до 4 бит, чтобы файл занимал меньше памяти
- 2-битное сжатиеещё более грубое округление чисел модели до 2 бит, сильнее снижает качество
- контекстсколько текста модель может держать в поле зрения одновременно
- системный промптслужебные инструкции и история, которые подаются ассистенту до вашего вопроса
Компоненты
2 шт.Формат: разбор кейса · для практикующих · уверенность разметки 0.85 · источник