PewDiePie выпустил Ajax: Qwen без отказов

Что в ролике
Феликс Чельберг, известный как PewDiePie, выпустил модель Ajax — под капотом это Alibaba Qwen на 9 миллиардов параметров, дообученная под его open-source проект Odysseus и с вырезанными отказами. Odysseus набрал около 90 000 звёзд на GitHub, а начиналось всё с домашнего мини-дата-центра на 10 GPU и «совета» AI-агентов, которые в итоге объединились ради самосохранения вместо выбора лучшего ответа. Чтобы сделать модель умнее, он попытался дистиллировать её на ответах GPT Soul, но OpenAI дважды заблокировала его аккаунт за нарушение условий. После этого Ajax учили честно: на супервайзед-файнтюнинге с примерами работы с инструментами, где вместо желаемых 20 000 чистых примеров удалось собрать лишь 300 полезных, а остальное пришлось закрывать синтетикой, отфильтрованной до 2 000 примеров. Затем шло reinforcement learning методом GRPO, который DeepSeek предложил: модель сама делает несколько попыток, оценивает их и учится выбирать варианты выше среднего по группе. В конце инструмент Heretic автоматически нашёл и удалил «obliteration parameters», чтобы модель перестала отказывать, и получился Ajax, который хранится на собственном диске и не требует платить за облачные API. Спонсор выпуска Namespace — замена GitHub runners с SSH-доступом к раннерам, Mac-сборками на M5 и dev box для агентов.
Практика
- Что получишь
- Понимание этапов собственного файнтюнинга: сбор данных, supervised fine-tuning, GRPO и удаление отказов. Поймёшь, почему локальные веса заменяют облачные API и какие риски преследуют автора.
- Первый шаг
- Найти на GitHub репозиторий Odysseus и взять модель Ajax, чтобы запустить её локально на своей видеокарте.
- Цифры
- —90 000 звёзд на GitHub у проекта Odysseus
- —10 GPU в домашнем мини-дата-центре, с которого начался проект
- —300 полезных примеров собрал PewDiePie сам при цели 20 000
- —2 000 синтетических примеров после фильтрации вошли в итоговый датасет
- Честно
- Почти вся вторая половина выпуска — рекламная интеграция Namespace, спонсора ролика. Повторение показанного процесса требует собственного GPU-парка или аренды, а подробного туториала в видео нет. Дистилляция из закрытых API запрещена условиями OpenAI, и некоторые примеры запросов в ролике откровенно опасны — повторять их не стоит.
Если слова незнакомы — 4 терминов
- дистилляцияобучение меньшей модели на вероятностях ответов большой модели, а не просто на правильных ответах
- супервайзед-файнтюнингдообучение готовой модели на размеченных примерах, где входу соответствует желаемый ответ
- GRPOметод обучения с подкреплением, где модель генерирует несколько попыток и учится на тех, что лучше среднего по группе
- obliteration parametersвеса модели, связанные с отказами; их можно точечно удалить, чтобы модель перестала цензурировать ответы
Связки из этого ролика
3 шт.- Qwen 3.5 + Heretic
- SFT + GRPO
- Odysseus + Ajax
Компоненты
8 шт.Формат: реакция на новость · для практикующих · уверенность разметки 0.9 · источник