Unsloth на AMD: локальные модели и агенты без $1500 GPU

Что в ролике
Если у вас уже есть Radeon RX 6000/7000/9000 или машина на Ryzen AI Max, бесплатное десктоп-приложение Unsloth позволяет запускать открытые модели локально и подключать их к coding-агентам вместо облачных серверов Anthropic. Официальная поддержка AMD появилась 20 июля: полная поддержка заявлена для Radeon RX 6000/7000/9000 и Ryzen AI Max на Windows, WSL и Linux, а старые RX 5000 работают только через Vulkan и llama.cpp без обучения. Гайд Unsloth запускает Claude Code с 4-битной моделью Qwen на 27 млрд параметров размером около 17,5 ГБ, которая помещается в 24 ГБ RX 7900 XTX; на 16 ГБ карте придётся брать 3-битный файл на 12–13 ГБ. На RX 7900 XTX с 14B Qwen в 4-бите локальные замеры дают около 28 токенов/с на генерацию и 500 токенов/с на чтение промпта, то есть запрос на 20 000 токенов означает около 40 секунд до первого слова. Unsloth держит кэш промпта и автоматически выключает строку в Claude Code, которая иначе сбрасывала бы его и замедляла работу на 90%. Для обучения внутри приложения используется QLoRA: основная модель остаётся в 4-бит, а дообучается небольшой аддон, поэтому 8B-модели нужно около 6 ГБ памяти, 14B — 8,5 ГБ, 27B — 22 ГБ. Минусы тоже есть: поддержка AMD всё ещё в бете, а отчёт от 22 сентября показывает падение драйвера на RX 7900 XTX при QLoRA-обучении 9B модели, тогда как те же 200 шагов на стандартных библиотеках Hugging Face прошли чисто. Вывод: на поддерживаемой карте стоит запускать модели и пробовать Claude Code или Codex локально, но обучение считать экспериментом и начинать с маленьких прогонов.
Практика
- Что получишь
- Поймёте, на каких Radeon и Ryzen AI Max Unsloth реально работает, как одной командой подключить Claude Code или Codex к локальной модели и какие ограничения есть у обучения на AMD.
- Первый шаг
- Установить бесплатный Unsloth на машину с поддерживаемой картой и выполнить команду unsloth start claude из официального гайда.
- Цифры
- —20 июля — дата официального запуска поддержки AMD в Unsloth
- —17,5 ГБ — размер 4-битной 27B-модели Qwen, которая помещается в 24 ГБ RX 7900 XTX
- —28 токенов/с — скорость генерации на RX 7900 XTX с 14B Qwen в 4-бит
- —90% — замедление Claude Code, если не отключить сброс кэша
- Честно
- Прямой рекламы платного продукта нет, Unsloth бесплатен, автор лишь просит подписаться на канал. Точные команды, таблицы совместимости и значения бенчмарков видны на экране — для повторения понадобится открыть документацию Unsloth или сам ролик. Отчёт о крахе обучения — единичный случай на одной машине, а не массовый тест всех карт.
Если слова незнакомы — 5 терминов
- coding-агентпрограмма, которая по запросу открывает файлы и выполняет команды
- токенслово или кусок слова, в которых модель читает и пишет текст
- промптвходящий текст-задание для модели
- QLoRAметод дообучения, при котором основная модель остаётся сжатой в 4 бита, а обучается небольшая надстройка
- llama.cppпрограмма для запуска сжатых моделей на локальной машине
Связки из этого ролика
7 шт.- ROCm
- Vulkan
- Qwen
- QLoRA
- Hugging Face
- Radeon RX 7900 XTX
- Ryzen AI Max
Компоненты
6 шт.Формат: обзор · для практикующих · уверенность разметки 0.95 · источник