Локальные модели: файл важнее названия

Что в ролике
Ошибка, из-за которой локальная модель на 8 ГБ видеопамяти тратит часы на одну страницу, обычно не в самой модели, а в выбранном файле и в том, что он не помещается в VRAM. Плотные модели вроде Quinn 3.8 27B при 4-битной квантизации весят 16,46 ГБ и на карте с 8 ГБ вынуждены подгружать веса из системной памяти, где DDR4 в 18 раз медленнее памяти RTX 3090, поэтому скорость падает до 4,2 токена в секунду. Модели со смесью экспертов, например Quinn 3.6 35B A3B, имеют 35 миллиардов параметров, но на каждый токен читают только около 3 миллиардов, и их 22-гигабайтный файл может жить в RAM, выдавая 23 токена в секунду даже на 6-гигабайтной RTX 2060. Для 8 ГБ главное — 32 ГБ системной RAM под MoE-файл, а если её нет, остаётся только лёгкая Gemma 4 12B в 3-битном сжатии для чата. На 12 ГБ одна и та же 2-битная сборка Quinn 3.8 27B от разных авторов даёт 16 против 7 исправленных багов из 20, потому что лаборатория ISTA ищет оптимальное распределение битов по слоям, а не сжимает всё равномерно. На 16 ГБ дефолтный Q4 на 16,46 ГБ не влезает после того, как Windows занимает 1–2,3 ГБ видеопамяти, и нужна 3,5-битная сборка ISTA на 11,77 ГБ, плюс сжатие контекст-кэша до 4 бит для Qwen. Для 24 ГБ Quinn 3.8 27B с полным контекстом 128 тысяч токенов и 8-битным кэшем занимает около 21 ГБ и даёт 41 токен в секунду на 3090, а свежий Nvidia Neotron 3.5 Bolt с 74 миллиардами параметров пока ждёт реальных тестов, потому что его 22,02 ГБ плюс 1,73 ГБ vision-модуля почти не оставляют места под Windows. Вывод: сначала проверяйте, кто сделал файл, а потом уже смотрите на битность, потому что битность решает, влезет ли модель, а автор файла — будет ли она работать.
Практика
- Что получишь
- Поймёте разницу между плотными моделями и смесью экспертов, научитесь выбирать не по размеру модели, а по файлу и его автору, и получите конкретные рекомендации для 8, 12, 16 и 24 ГБ VRAM.
- Первый шаг
- Начните с проверки объёма системной RAM и свободной видеопамяти после загрузки Windows, затем скачайте рекомендованный файл под свою карту из описания или по имени автора сборки.
- Цифры
- —936 ГБ/с — пропускная способность памяти RTX 3090
- —51 ГБ/с — скорость DDR4, в 18 раз медленнее видеопамяти 3090
- —4,2 токена/с — скорость Quinn 3.8 27B на 8 ГБ, из-за чего страница заняла 2,5 часа
- —23 токена/с — скорость MoE-модели на RTX 2060 с 6 ГБ и 32 ГБ RAM
- Честно
- Автор рекламирует ChatLLM by Abacus AI за $10 в месяц, ссылка в описании и закреплённом комментарии. Часть рекомендаций опирается на таблицы от самих создателей сборок, и автор советует относиться к их цифрам с долей скепсиса. Команды и флаги для запуска в llama.cpp упоминаются только на словах, поэтому для повторения придётся искать инструкции отдельно.
Если слова незнакомы — 6 терминов
- VRAMвидеопамять на видеокарте, быстрая память для модели
- плотная модельмодель, где при генерации каждого токена читаются все параметры, поэтому она должна целиком помещаться в VRAM
- смесь экспертовмодель, где на каждый токен используется только небольшая часть параметров, остальные не читаются
- квантизациясжатие весов модели до меньшего числа бит, чтобы файл занимал меньше места
- токенединица текста, которую модель генерирует за один шаг
- контекст-кэшпамять, которую модель держит под историю диалога
Компоненты
3 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник