К содержимому
Дайджест

Unsloth на AMD: локальные модели и агенты без $1500 GPU

The Stack·26 сентября 2026·10:10
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор бесплатного приложения Unsloth для владельцев AMD-видеокарт: как запустить локальные модели и coding-агентов, какие карты подходят и чего ждать от обучения.

Что в ролике

Если у вас уже есть Radeon RX 6000/7000/9000 или машина на Ryzen AI Max, бесплатное десктоп-приложение Unsloth позволяет запускать открытые модели локально и подключать их к coding-агентам вместо облачных серверов Anthropic. Официальная поддержка AMD появилась 20 июля: полная поддержка заявлена для Radeon RX 6000/7000/9000 и Ryzen AI Max на Windows, WSL и Linux, а старые RX 5000 работают только через Vulkan и llama.cpp без обучения. Гайд Unsloth запускает Claude Code с 4-битной моделью Qwen на 27 млрд параметров размером около 17,5 ГБ, которая помещается в 24 ГБ RX 7900 XTX; на 16 ГБ карте придётся брать 3-битный файл на 12–13 ГБ. На RX 7900 XTX с 14B Qwen в 4-бите локальные замеры дают около 28 токенов/с на генерацию и 500 токенов/с на чтение промпта, то есть запрос на 20 000 токенов означает около 40 секунд до первого слова. Unsloth держит кэш промпта и автоматически выключает строку в Claude Code, которая иначе сбрасывала бы его и замедляла работу на 90%. Для обучения внутри приложения используется QLoRA: основная модель остаётся в 4-бит, а дообучается небольшой аддон, поэтому 8B-модели нужно около 6 ГБ памяти, 14B — 8,5 ГБ, 27B — 22 ГБ. Минусы тоже есть: поддержка AMD всё ещё в бете, а отчёт от 22 сентября показывает падение драйвера на RX 7900 XTX при QLoRA-обучении 9B модели, тогда как те же 200 шагов на стандартных библиотеках Hugging Face прошли чисто. Вывод: на поддерживаемой карте стоит запускать модели и пробовать Claude Code или Codex локально, но обучение считать экспериментом и начинать с маленьких прогонов.

Практика

Что получишь
Поймёте, на каких Radeon и Ryzen AI Max Unsloth реально работает, как одной командой подключить Claude Code или Codex к локальной модели и какие ограничения есть у обучения на AMD.
Первый шаг
Установить бесплатный Unsloth на машину с поддерживаемой картой и выполнить команду unsloth start claude из официального гайда.
Цифры
  • —20 июля — дата официального запуска поддержки AMD в Unsloth
  • —17,5 ГБ — размер 4-битной 27B-модели Qwen, которая помещается в 24 ГБ RX 7900 XTX
  • —28 токенов/с — скорость генерации на RX 7900 XTX с 14B Qwen в 4-бит
  • —90% — замедление Claude Code, если не отключить сброс кэша
Честно
Прямой рекламы платного продукта нет, Unsloth бесплатен, автор лишь просит подписаться на канал. Точные команды, таблицы совместимости и значения бенчмарков видны на экране — для повторения понадобится открыть документацию Unsloth или сам ролик. Отчёт о крахе обучения — единичный случай на одной машине, а не массовый тест всех карт.
Если слова незнакомы — 5 терминов

Связки из этого ролика

7 шт.

Компоненты

6 шт.

Формат: обзор · для практикующих · уверенность разметки 0.95 · источник