PewDiePie обучил локальную модель Ajax без цензуры

Что в ролике
Тео реагирует на видео PewDiePie, где тот анонсирует свою локальную модель Ajax, заточенную под харнес Odysius. Ajax умеет искать в интернете, писать письма и работать с календарём, а чтобы убрать цензуру, автор использовал open-source программу Heretic: задавал модели неудобные вопросы, находил области отказов и удалял их, отчего модель получила «лёгкое повреждение мозга». PewDiePie дважды получал бан от OpenAI при попытке дистиллировать данные из модели Soul и в итоге решил обучаться на собственных логах: 500 млрд токенов запросов и ответов, которые занимают всего 6 ГБ в ClickHouse. Он также запустил сайт для сбора данных, куда любой мог загрузить свои примеры, но никто не прислал ни одного файла. Тео добавляет контекст: OpenAI шифрует промпты субагентов в Codex, поэтому дистилляция таких следов невозможна, а у опенсорсных моделей с этим проще. В ответ на тезис о локальных моделях Тео замечает, что для простых задач вроде сортировки почты действительно не нужна гигантская модель, но и бояться больших моделей не стоит, так как активируется лишь часть параметров. В конце PewDiePie рассказывает про текущий этап GRPO-обучения: одну задачу модель решает 16 раз, и даже один успех из 16 становится ценными данными для дообучения.
Практика
- Что получишь
- Поймёте, как энтузиаст собрал локальную модель без цензуры, с какими проблемами столкнулся (бан OpenAI, отсутствие желающих делиться данными) и какие аргументы о локальных моделях приводит практик уровня Тео.
- Первый шаг
- Найти оригинальное видео PewDiePie и посмотреть его целиком, чтобы увидеть демонстрации Ajax и ссылки на Odysius, так как здесь только реакция.
- Цифры
- —500 млрд токенов — столько запросов и ответов PewDiePie накопил в своих логах за полгода
- —20,4 трлн токенов в день — текущая нагрузка T3 Code, по словам Тео
- —16 запусков одной задачи в GRPO-обучении, и достаточно одного успешного решения, чтобы попасть в обучающие данные
- Честно
- В видео два рекламных блока: в начале Тео продвигает Clerk по партнёрской ссылке, а внутри оставлена реклама boot.dev от PewDiePie. Сама модель Ajax на момент записи не выпущена, поэтому повторить проект нельзя — только смотреть демонстрации в оригинале. Часть деталей (точные команды Heretic, ссылка на гост) видна только на экране у PewDiePie.
Если слова незнакомы — 5 терминов
- харнесобвязка или среда, в которой работает модель, здесь Odysius
- дистилляцияперенос знаний большой модели в меньшую через обучение на её ответах
- субагентвспомогательная модель, которую основная вызывает для выполнения части работы
- GRPOметод обучения с подкреплением, где модель генерирует варианты решения и получает награду за успех
- токенединица текста, которую модель обрабатывает; 500 млрд токенов — это очень большой объём данных
Компоненты
10 шт.Формат: реакция на новость · для практикующих · уверенность разметки 0.8 · источник