PS5 тянет открытые модели: быстрый вывод, медленное чтение

Что в ролике
Если вы смотрите на цены видеокарт, история о запуске 27-миллиардной модели на PlayStation 5 звучит как обходной путь, но у неё есть две скорости, и вирусные ролики показывали только одну. На стандартной PS5 с 16 ГБ общей памяти и пропускной способностью 448 ГБ/с модель Qwen3-27B в 2-битном сжатии размером 6,8 ГБ пишет текст со скоростью около 20 токенов в секунду, что близко к скорости чтения человека. Однако чтение промпта в приложении PS5 LM идёт всего 35–50 токенов в секунду, потому что портированный графический драйвер не поддерживает быстрые матричные операции, а системный сторож Sony принудительно режет запросы на куски по 64 токена. Из-за этого первая команда Claude Code с системным промптом на 18 000 токенов заняла 613 секунд — около 10 минут, чтобы дописать в Python-файл функцию return a + b. Те же чип и память при загрузке Linux на той же консоли читают уже около 200 токенов в секунду, а RTX 5060 Ti с той же пропускной способностью памяти читает 618 токенов в секунду, поэтому 18 000 токенов обрабатывает примерно за 29 секунд. Практическая рекомендация автора: если у вас уже есть PS5 на прошивке 13.60 или ниже и не нужен PSN, запускайте на ней небольшие модели вроде Gemma 4B (61 токен/с) или Llama 3.2 3B (124 токена/с) как приватный сервер для дома, а 27B оставьте для сложных задач. Покупать новую PS5 ради ИИ не стоит: она стоит 649,99 доллара, почти наверняка идёт с новой прошивкой, а джейлбрейк не переживает перезагрузку и может означать потерю доступа к PSN и GTA 6.
Практика
- Что получишь
- Понимание, где локальный запуск моделей на PS5 действительно выгоден, какие модели стоит запускать и почему скорость чтения важнее скорости генерации.
- Первый шаг
- Если у вас уже есть PS5 со старой прошивкой, проверьте версию и установите джейлбрейк Relapse, затем запустите PS5 LM с небольшой моделью вроде Gemma 4B.
- Цифры
- —20 токенов в секунду — скорость генерации текста моделью Qwen3-27B в 2-битном виде на PS5 через PS5 LM
- —613 секунд — столько заняла первая команда Claude Code с промптом на 18 000 токенов, чтобы дописать return a + b
- —448 ГБ/с — пропускная способность общей памяти PS5, которая определяет теоретический потолок скорости записи
- —200 токенов в секунду — скорость чтения той же модели на той же PS5 под Linux, без ограничений системного драйвера Sony
- Честно
- Автор в конце просит лайк и подписку, но рекламы или партнёрских ссылок в ролике нет. Для повторения нужен джейлбрейк прошивки 7.00–13.60, который не переживает перезагрузку, а Sony может закрыть доступ к PSN; новые консоли и обновлённые системы не подходят. В ролике не показаны пошаговые команды установки и настройки, поэтому придётся искать документацию PS5 LM самостоятельно.
Если слова незнакомы — 3 терминов
- токенминимальная единица текста, которую модель читает или генерирует за один шаг
- промптвходной текст, который вы даёте модели, включая системные инструкции и контекст
- джейлбрейквзлом ограничений консоли, позволяющий запускать неофициальное программное обеспечение
Связки из этого ролика
4 шт.- PS5 + Linux + llama.cpp + Vulkan
- PS5 + PS5 LM + Qwen3-27B
- RTX 5060 Ti + Qwen3-27B
- BC250 + llama.cpp
Компоненты
5 шт.Формат: мнение · для практикующих · уверенность разметки 0.9 · источник