К содержимому
Дайджест

Локальные модели: файл важнее названия

Kai·21 октября 2026·16:02
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Разбор того, как выбирать локальные AI-модели под GPU с 8–24 ГБ VRAM, с упором на разницу между файлами квантизации и конкретными рекомендациями по картам.

Что в ролике

Ошибка, из-за которой локальная модель на 8 ГБ видеопамяти тратит часы на одну страницу, обычно не в самой модели, а в выбранном файле и в том, что он не помещается в VRAM. Плотные модели вроде Quinn 3.8 27B при 4-битной квантизации весят 16,46 ГБ и на карте с 8 ГБ вынуждены подгружать веса из системной памяти, где DDR4 в 18 раз медленнее памяти RTX 3090, поэтому скорость падает до 4,2 токена в секунду. Модели со смесью экспертов, например Quinn 3.6 35B A3B, имеют 35 миллиардов параметров, но на каждый токен читают только около 3 миллиардов, и их 22-гигабайтный файл может жить в RAM, выдавая 23 токена в секунду даже на 6-гигабайтной RTX 2060. Для 8 ГБ главное — 32 ГБ системной RAM под MoE-файл, а если её нет, остаётся только лёгкая Gemma 4 12B в 3-битном сжатии для чата. На 12 ГБ одна и та же 2-битная сборка Quinn 3.8 27B от разных авторов даёт 16 против 7 исправленных багов из 20, потому что лаборатория ISTA ищет оптимальное распределение битов по слоям, а не сжимает всё равномерно. На 16 ГБ дефолтный Q4 на 16,46 ГБ не влезает после того, как Windows занимает 1–2,3 ГБ видеопамяти, и нужна 3,5-битная сборка ISTA на 11,77 ГБ, плюс сжатие контекст-кэша до 4 бит для Qwen. Для 24 ГБ Quinn 3.8 27B с полным контекстом 128 тысяч токенов и 8-битным кэшем занимает около 21 ГБ и даёт 41 токен в секунду на 3090, а свежий Nvidia Neotron 3.5 Bolt с 74 миллиардами параметров пока ждёт реальных тестов, потому что его 22,02 ГБ плюс 1,73 ГБ vision-модуля почти не оставляют места под Windows. Вывод: сначала проверяйте, кто сделал файл, а потом уже смотрите на битность, потому что битность решает, влезет ли модель, а автор файла — будет ли она работать.

Практика

Что получишь
Поймёте разницу между плотными моделями и смесью экспертов, научитесь выбирать не по размеру модели, а по файлу и его автору, и получите конкретные рекомендации для 8, 12, 16 и 24 ГБ VRAM.
Первый шаг
Начните с проверки объёма системной RAM и свободной видеопамяти после загрузки Windows, затем скачайте рекомендованный файл под свою карту из описания или по имени автора сборки.
Цифры
  • —936 ГБ/с — пропускная способность памяти RTX 3090
  • —51 ГБ/с — скорость DDR4, в 18 раз медленнее видеопамяти 3090
  • —4,2 токена/с — скорость Quinn 3.8 27B на 8 ГБ, из-за чего страница заняла 2,5 часа
  • —23 токена/с — скорость MoE-модели на RTX 2060 с 6 ГБ и 32 ГБ RAM
Честно
Автор рекламирует ChatLLM by Abacus AI за $10 в месяц, ссылка в описании и закреплённом комментарии. Часть рекомендаций опирается на таблицы от самих создателей сборок, и автор советует относиться к их цифрам с долей скепсиса. Команды и флаги для запуска в llama.cpp упоминаются только на словах, поэтому для повторения придётся искать инструкции отдельно.
Если слова незнакомы — 6 терминов

Компоненты

3 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник