Qwen 27B на PS5: 20 токенов в секунду

Что в ролике
Автор разбирает проект PS5 LM, который портировал llama.cpp на взломанную PlayStation 5, чтобы запускать локальные языковые модели. Изначально полезная нагрузка получала только около 6 ГБ памяти и не имела доступа к GPU, поэтому модель Qwen на 0,8 млрд параметров работала на CPU со скоростью около 13 токенов в секунду, а 27-миллиардная модель — около одного токена в минуту. Новая версия PS5 LM+ запускается как нативная игра для консоли, получает примерно 11,44 ГБ GPU-памяти и подключает Vulkan-бэкенд порта к драйверу AMD RADV. После этого Qwen на 27 млрд параметров в квантованной GGUF-версии UDQ2KXL размером 9,2 ГБ генерирует около 20,3 токена в секунду с контекстом 32 000 токенов. Более сжатая IQ2XXS-версия весит 6,8 ГБ, поддерживает контекст 64 000 токенов и держит скорость около 20,7 токена в секунду, а тестовый ответ длиной 7 775 токенов шёл в среднем на 19,7 токена в секунду. Меньшие модели быстрее: Gemma 4 E4B выдаёт около 61 токена в секунду, Llama на 3 млрд параметров — около 124, что превращает консоль в локальный сервер инференса, доступный другим устройствам через API.
Практика
- Что получишь
- Понять, как проект PS5 LM+ использует взломанную консоль для локального запуска моделей уровня 27 млрд параметров, и какие ограничения определяют реальную скорость и качество.
- Первый шаг
- Проверить, есть ли у вас взломанная PS5 с совместимой прошивкой, и установить PS5 LM+ как нативную игру, затем загрузить GGUF-модель из библиотеки.
- Цифры
- —20,3 токена в секунду — скорость генерации модели Qwen 27B в версии UDQ2KXL после включения GPU
- —11,44 ГБ — объём GPU-памяти, доступный приложению PS5 LM+ на взломанной PS5
- —9,2 ГБ — размер файла модели Qwen 27B UDQ2KXL
- —124 токена в секунду — скорость модели Llama на 3 млрд параметров
- Честно
- Для повторения нужен джейлбрейк консоли: проект не работает на официальной прошивке и не скачивается из PlayStation Store. Скорость достигается за счёт агрессивного квантования модели до 2–3 бит, поэтому качество ответов ниже, чем у более точных версий на полноценной видеокарте, а GPU консоли не имеет тензорных ядер вроде CUDA-ускорителей Nvidia.
Если слова незнакомы — 5 терминов
- llama.cppинструмент для запуска языковых моделей локально
- GGUFформат файла модели, оптимизированный для локального запуска
- квантованиесжатие весов модели до меньшей точности, чтобы уменьшить размер и ускорить работу
- инференспроцесс генерации ответа моделью
- Vulkan-бэкендспособ использования GPU через графический интерфейс Vulkan
Связки из этого ролика
2 шт.- llama.cpp + Vulkan + RADV
- GGUF
Компоненты
12 шт.Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник