DeepSeek V4 Flash в 64 ГБ RAM без GPU: что потеряли

Что в ролике
Если цены на GPU заставляют отказаться от локального запуска серьёзных моделей, этот разбор показывает, что DeepSeek V4 Flash 0731 с 284,33 млрд параметров можно запустить на ноутбучном AMD-чипе без GPU и с 64 ГБ DDR5. Автор проверяет проект Llama mod chip разработчика Syncopate: файл на 56,93 ГБ укладывается в 64 ГБ памяти и выдаёт 8,66 токена в секунду на чипе Ryzen 9 9955HX, при этом в 64 ГБ на каждый вес приходится лишь 1,89 бита против 4,70 бита у официального 155 ГБ файла. Главная цифра, которую сначала никто не публиковал: perplexity урезанного файла равна 7,30 против 4,54 у оригинала, то есть качество хуже на 60,8 процента. Сравнительная лестница Atomic Chat показывает, что потери растут нелинейно: файл на 79 ГБ отклоняется от оригинала на 21 процент, а на 64 ГБ — уже на 61 процент, тогда как родной 144 ГБ файл отстаёт всего на 0,2 процента. Переплата за память меняет вывод: набор 96 ГБ DDR5 стоит примерно на 460 долларов дороже 64 ГБ, но поднимает потолок до 2,84 бита на вес и позволяет взять файл на 79,29 ГБ, срезая почти две трети потерь качества. Однако скорость чтения контекста — слабое место: 30-тысячный документ примерно на 4 000 токенов модель читает около 2 минут, а сессия кодинг-агента с контекстом 20 000 токенов требует более 9 минут только на prefill, поэтому для агентной работы это не идеальный вариант. Автор приходит к выводу, что специально покупать 64 ГБ ради этой модели не стоит, а тем, у кого машина уже есть, стоит использовать её для чата и черновиков, а для точной работы держать Neotron 30B с потерей качества лишь 6,9 процента.
Практика
- Что получишь
- Понятную картину, стоит ли тратить деньги на 64 или 96 ГБ RAM для локального запуска DeepSeek: какой файл выбрать, как сильно падает качество и когда выгоднее остаться на API.
- Первый шаг
- Если у вас уже есть машина с 64 ГБ и Zen 4/5, скачайте 56,93 ГБ файл Llama mod chip и запустите его в читающем режиме — но не покупайте ради этого новую память.
- Цифры
- —8,66 токена в секунду — скорость генерации на ноутбуке разработчика с 64 ГБ DDR5
- —60,8 процента — насколько выше perplexity у 56,93 ГБ файла по сравнению с оригиналом
- —460 долларов — разница между самым дешёвым набором 96 ГБ DDR5 и набором 64 ГБ, которая снижает потерю качества с 61 до 21 процента
- —36 токенов в секунду — скорость prefill, из-за которой 30-тысячный документ читается около 2 минут
- Честно
- Автор не продаёт продукт, но в конце просит подписаться и оставляет ссылки на открытые репозитории. В ролике точные цифры таблицы и лестницы показаны на экране, поэтому при желании их стоит смотреть, а не зачитывать. Важная оговорка: заголовок говорит о V4.1 Flash, но внутри разбирается предыдущая модель V4 Flash 0731, потому что локальный 64 ГБ файл именно её и запускает, а V4.1 требует около 340 ГБ.
Если слова незнакомы — 3 терминов
- perplexityмера неуверенности модели в следующем слове, ниже — лучше
- prefillэтап чтения входящего текста, до генерации ответа
- токенчасть слова, которую модель обрабатывает за один шаг
Связки из этого ролика
1 шт.- llama.cpp + Llama mod chip
Компоненты
7 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник