К содержимому
Дайджест

GTX 1080 Ti и 35B-модель: чат да, код с оговорками

The Stack·22 сентября 2026·16:25
текст даёт основное можно повторить
Открыть на YouTube
Разбор практического вопроса, подойдёт ли дешёвая б/у видеокарта GTX 1080 Ti для запуска 35-миллиардной модели тем, кто собирает локальный AI дома.

Что в ролике

Если вы хотите запустить 35-миллиардную модель дома на дешёвой видеокарте, подержанная GTX 1080 Ti с 11 ГБ памяти стоит около $150, но 4-битная Qwen 3.5 35B занимает около 22 ГБ. Это смесь экспертов: из 256 специализированных сетей на каждый токен работают только 3 миллиарда параметров, поэтому активную часть можно держать на видеокарте, а остальных экспертов — в 32 ГБ обычной памяти. На такой сборке Мартин Эндрюс получил 24,11 токена в секунду с 8 ГБ GTX 1080, а на 1080 Ti с быстрым i9 — 16,8 токена в секунду, причём один процессор без видеокарты выдал 17,1. Если сжать модель до 2 бит, она целиком влезает в 11 ГБ, и проект PXA обещает 59,2 токена в секунду против 53,3 у обычного 2-битного сжатия, но качество ответов падает, а контекст ужимается до 8 192 токенов. Для чата этого достаточно: скорость выше скорости чтения, и видеокарта за $150 справляется. Для агентного кодинга, где системный промпт вместе с историей может занимать 20–30 тысяч токенов, этого контекста мало, и там нужна 16-гигабайтная RTX 5060 Ti за $740–800, которая читает длинный промпт за 80 секунд. Итог: для обычного общения и экспериментов 1080 Ti с 32 ГБ системной памяти — выгодный вариант, а для длинных сессий кодинга доплата за современную карту оправдана.

Практика

Что получишь
Поймёте, когда стоит брать 1080 Ti вместо RTX 5060 Ti: для чата и экспериментов хватит, для агентного кодинга — нет. Узнаете, сколько системной памяти нужно и какие скорости реально получить.
Первый шаг
Проверьте, сколько обычной памяти в вашем ПК, и если есть 32 ГБ, скачайте Qwen 3.5 35B и попробуйте запустить его на процессоре до покупки видеокарты.
Цифры
  • —$150 — цена б/у 1080 Ti, в пять раз дешевле RTX 5060 Ti за $740–800
  • —24,11 токена/с — скорость на 8 ГБ GTX 1080 с 32 ГБ системной памяти
  • —16,8 токена/с против 17,1 токена/с — скорость 1080 Ti с i9 и одного процессора без видеокарты
  • —8 192 токенов — контекст 2-битной версии, тогда как агентный системный промпт может занимать 20–30 тысяч токенов
Честно
Автор ничего не продаёт, только просит подписаться на канал. Цифры PXA — из заметок самого проекта, а его бенчмарк сначала повторял одни и те же промпты, поэтому скорость 65 токенов/с стоит считать завышенной. Точные настройки разбиения слоёв и команды видны только на экране.
Если слова незнакомы — 6 терминов

Компоненты

2 шт.

Формат: разбор кейса · для практикующих · уверенность разметки 0.85 · источник