К содержимому
Дайджест

Calibri 1 на игровом ПК: 14 токенов/с без видеокарты

The Stack·7 октября 2026·17:54
текст даёт основное понять, как устроено
Открыть на YouTube
Разбор того, как запустить 78-миллиардную модель Calibri 1 на домашнем железе без серверных карт и стоит ли она замены Claude.

Что в ролике

Если у вас мощный игровой процессор и много оперативной памяти, 78-миллиардную модель Calibri 1 можно запустить дома без видеокарты. Модель вышла 3 октября как смесь экспертов: всего параметров 78 млрд, но на каждый токен работают 3,46 млрд, поэтому скорость упирается в память, а не в вычисления. Энтузиаст Hobforge сделал неофициальную 4-битную копию и прогнал её на Ryzen 7 7800X3D со 128 ГБ RAM, получив около 14 токенов/с и 46,6 ГБ занятой памяти. Файлов несколько: 4-битный весит 47,5 ГБ, 3-битный 34 ГБ, 2-битный 22,5 ГБ, а 64 ГБ RAM на бумаге должны вместить 4-битную версию. Тот же 3-битный файл на двух картах RTX 3060 12 ГБ и Intel Arc Pro B60 выдал около 50 токенов/с. Программно это не просто: Ollama и LM Studio не откроют файл, нужен пропатченный llama.cpp, собранный вручную. По оценкам самой ALF Alpha модель сильна среди лёгких смесей экспертов, но 27-миллиардная Qwen обходит её в общих баллах и помещается 4-битом на одну 24-гигабайтную карту.

Практика

Что получишь
Понимание, как запускать большие MoE-модели на процессоре и какие есть файлы, ограничения и альтернативы, чтобы выбрать Calibri 1 или Qwen под своё железо.
Первый шаг
Проверить объём оперативной памяти и видеокарту, затем взять с HuggingFace подходящий файл, например 4-битный при 64 ГБ RAM, и собрать пропатченный llama.cpp из исходников.
Цифры
  • —14,2 токена/с — скорость генерации 4-битной Calibri 1 на Ryzen 7 7800X3D без видеокарты
  • —46,6 ГБ RAM — столько заняла модель при запуске на процессоре
  • —478 секунд — столько заняла загрузка в тесте с файлами по сети
  • —50 токенов/с — скорость 3-битной версии на двух видеокартах RTX 3060 12 ГБ и Intel Arc Pro B60
Честно
Автор в конце просит подписаться и поставить лайк, но конкретный платный продукт не продаёт. Тесты 4-битной версии — это простые проверки на одном ПК без бенчмарков, поэтому устойчивость на сложной работе не подтверждена. Официальный запуск требует минимум две серверные карты по 80 ГБ, а все файлы для llama.cpp неофициальные и требуют ручной сборки.
Если слова незнакомы — 3 терминов

Связки из этого ролика

2 шт.

Компоненты

3 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник