Calibri 1 на игровом ПК: 14 токенов/с без видеокарты

Что в ролике
Если у вас мощный игровой процессор и много оперативной памяти, 78-миллиардную модель Calibri 1 можно запустить дома без видеокарты. Модель вышла 3 октября как смесь экспертов: всего параметров 78 млрд, но на каждый токен работают 3,46 млрд, поэтому скорость упирается в память, а не в вычисления. Энтузиаст Hobforge сделал неофициальную 4-битную копию и прогнал её на Ryzen 7 7800X3D со 128 ГБ RAM, получив около 14 токенов/с и 46,6 ГБ занятой памяти. Файлов несколько: 4-битный весит 47,5 ГБ, 3-битный 34 ГБ, 2-битный 22,5 ГБ, а 64 ГБ RAM на бумаге должны вместить 4-битную версию. Тот же 3-битный файл на двух картах RTX 3060 12 ГБ и Intel Arc Pro B60 выдал около 50 токенов/с. Программно это не просто: Ollama и LM Studio не откроют файл, нужен пропатченный llama.cpp, собранный вручную. По оценкам самой ALF Alpha модель сильна среди лёгких смесей экспертов, но 27-миллиардная Qwen обходит её в общих баллах и помещается 4-битом на одну 24-гигабайтную карту.
Практика
- Что получишь
- Понимание, как запускать большие MoE-модели на процессоре и какие есть файлы, ограничения и альтернативы, чтобы выбрать Calibri 1 или Qwen под своё железо.
- Первый шаг
- Проверить объём оперативной памяти и видеокарту, затем взять с HuggingFace подходящий файл, например 4-битный при 64 ГБ RAM, и собрать пропатченный llama.cpp из исходников.
- Цифры
- —14,2 токена/с — скорость генерации 4-битной Calibri 1 на Ryzen 7 7800X3D без видеокарты
- —46,6 ГБ RAM — столько заняла модель при запуске на процессоре
- —478 секунд — столько заняла загрузка в тесте с файлами по сети
- —50 токенов/с — скорость 3-битной версии на двух видеокартах RTX 3060 12 ГБ и Intel Arc Pro B60
- Честно
- Автор в конце просит подписаться и поставить лайк, но конкретный платный продукт не продаёт. Тесты 4-битной версии — это простые проверки на одном ПК без бенчмарков, поэтому устойчивость на сложной работе не подтверждена. Официальный запуск требует минимум две серверные карты по 80 ГБ, а все файлы для llama.cpp неофициальные и требуют ручной сборки.
Если слова незнакомы — 3 терминов
- токенслово или часть слова, на которые модель разбивает текст
- смесь экспертовархитектура модели, где для каждого токена работает лишь небольшая часть всех параметров
- llama.cppбесплатный движок для запуска моделей на обычном железе, на котором построены Ollama и LM Studio
Связки из этого ролика
2 шт.- CPU-only
- multi-GPU
Компоненты
3 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник