К содержимому
Дайджест

Qwen 27B на PS5: 20 токенов в секунду

Code Unpacked·16 октября 2026·10:15
можно прочитать понять, как устроено
Открыть на YouTube
Технический разбор того, как энтузиасты запустили локальные языковые модели на взломанной PlayStation 5 и какие ограничения у этого подхода.

Что в ролике

Автор разбирает проект PS5 LM, который портировал llama.cpp на взломанную PlayStation 5, чтобы запускать локальные языковые модели. Изначально полезная нагрузка получала только около 6 ГБ памяти и не имела доступа к GPU, поэтому модель Qwen на 0,8 млрд параметров работала на CPU со скоростью около 13 токенов в секунду, а 27-миллиардная модель — около одного токена в минуту. Новая версия PS5 LM+ запускается как нативная игра для консоли, получает примерно 11,44 ГБ GPU-памяти и подключает Vulkan-бэкенд порта к драйверу AMD RADV. После этого Qwen на 27 млрд параметров в квантованной GGUF-версии UDQ2KXL размером 9,2 ГБ генерирует около 20,3 токена в секунду с контекстом 32 000 токенов. Более сжатая IQ2XXS-версия весит 6,8 ГБ, поддерживает контекст 64 000 токенов и держит скорость около 20,7 токена в секунду, а тестовый ответ длиной 7 775 токенов шёл в среднем на 19,7 токена в секунду. Меньшие модели быстрее: Gemma 4 E4B выдаёт около 61 токена в секунду, Llama на 3 млрд параметров — около 124, что превращает консоль в локальный сервер инференса, доступный другим устройствам через API.

Практика

Что получишь
Понять, как проект PS5 LM+ использует взломанную консоль для локального запуска моделей уровня 27 млрд параметров, и какие ограничения определяют реальную скорость и качество.
Первый шаг
Проверить, есть ли у вас взломанная PS5 с совместимой прошивкой, и установить PS5 LM+ как нативную игру, затем загрузить GGUF-модель из библиотеки.
Цифры
  • —20,3 токена в секунду — скорость генерации модели Qwen 27B в версии UDQ2KXL после включения GPU
  • —11,44 ГБ — объём GPU-памяти, доступный приложению PS5 LM+ на взломанной PS5
  • —9,2 ГБ — размер файла модели Qwen 27B UDQ2KXL
  • —124 токена в секунду — скорость модели Llama на 3 млрд параметров
Честно
Для повторения нужен джейлбрейк консоли: проект не работает на официальной прошивке и не скачивается из PlayStation Store. Скорость достигается за счёт агрессивного квантования модели до 2–3 бит, поэтому качество ответов ниже, чем у более точных версий на полноценной видеокарте, а GPU консоли не имеет тензорных ядер вроде CUDA-ускорителей Nvidia.
Если слова незнакомы — 5 терминов

Связки из этого ролика

2 шт.

Компоненты

12 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник