Локальный ИИ для кода: одна модель, разный контекст

Что в ролике
Если вы пересмотрели тир-листы и так и не поняли, что ставить на свою карту, вот главное: советы запускать модель 2024 года на 8 ГБ годятся только для автодополнения, а как агент она разваливается. От 12 до 48 ГБ работает одна и та же 27B-модель, а разница в том, сколько кода она удерживает в контексте (KV-кэш) и как быстро читает. KV-кэш — это растущие заметки о прочитанном, и у 27B только 16 слоёв из 64 копят их, поэтому контекст 128 000 токенов стоит меньше 9 ГБ, тогда как у 24B Mistral — больше 21 ГБ. До 12 ГБ автор советует не 27B со сливом в системную память (4–5 токенов/с), а mixture-of-experts модель, которая на 8 ГБ 2016 года с 32 ГБ ОЗУ даёт 26 токенов/с. На 12–16 ГБ стандартная 4-битная 27B не влезает (17,4 ГБ), нужен 3-бит (~13 ГБ) или 2-бит, но у 2-битных сборок результаты сильно зависят от того, кто сжимал. На 24–32 ГБ уже влезает 4-бит, и это «золотая середина»: покупка GPU окупается примерно за год, если вы иначе постоянно платили бы за аренду 27B. Два бесплатных флага дают больше скорости, чем апгрейд: предсказание нескольких токенов разгоняет генерацию с 48 до 76 токенов/с (на новой карте с 74 до 180), а снижение reasoning с max до medium ускоряет в 9 раз без потери качества. На 128 ГБ появляется новая, гораздо более крупная mixture-of-experts модель (4-бит ~111 ГБ), где важна скорость чтения, а после 128 ГБ автор советует арендовать: большая модель на инференс-площадках в 10 раз дешевле, чем аренда 27B.
Практика
- Что получишь
- Поймёте, что модель на 12–48 ГБ одна, и научитесь выбирать сжатие и контекст под свою карту, а не верить тир-листам; сможете включить два бесплатных флага для ускорения генерации.
- Первый шаг
- Узнайте объём VRAM и системной памяти, затем для карты 12–16 ГБ возьмите 3-битную сборку 27B-модели и вручную задайте размер контекста, а не оставляйте значение по умолчанию.
- Цифры
- —128 000 токенов контекста у 27B-модели требуют меньше 9 ГБ, у 24B Mistral — больше 21 ГБ
- —26 токенов в секунду даёт mixture-of-experts на 8 ГБ 2016 года с 32 ГБ оперативки, против 4–5 у 27B со сливом в системную память
- —17,4 ГБ — размер 4-битной 27B, поэтому на 16 ГБ она не влезает; 3-битная занимает около 13 ГБ
- —Флаг multi-token prediction поднимает генерацию с 48 до 76 токенов/с, а на новейшей карте с 74 до 180
- Честно
- Автор не продаёт свой продукт и не даёт партнёрских ссылок. В речи он не называет конкретные имена моделей, поэтому для повторения придётся смотреть, что показано на экране. Часть цифр взята из постов на Reddit и X, а не из официальных бенчмарков.
Если слова незнакомы — 7 терминов
- агентИИ-система, которая сама читает файлы, понимает ошибки и правит код, а не просто дополняет строку
- KV-кэшобласть памяти, где модель хранит растущие заметки о прочитанном, чтобы не терять нить
- токенминимальная единица текста для модели, обычно часть слова или символ
- mixture-of-expertsархитектура, где на каждое слово активируется лишь часть параметров, что экономит видеопамять
- квантизациясжатие весов модели (например, до 4 или 3 бит), уменьшающее размер и иногда качество
- reasoningрежим, в котором модель дольше «размышляет» перед ответом, влияет на скорость и точность
- инференсвыполнение модели для генерации ответа, в том числе на арендованных серверах
Компоненты
1 шт.Формат: мнение · для практикующих · уверенность разметки 0.9 · источник