К содержимому
Дайджест

Weight-space programming: LLM пишет веса без обучения

Caleb Writes Code·4 ноября 2026·10:06
можно прочитать понять, как устроено промо
Открыть на YouTube
Разбор эксперимента Weight Space Programming: что это такое, где работает, а где пока нет, для тех, кто интересуется обучением и редактированием нейросетей.

Что в ролике

Weight-space programming — это идея, что языковая модель может записать числа прямо в веса другой нейросети и полностью пропустить этап обучения с симуляциями и градиентным спуском. Авторы эксперимента обнулили все веса маленькой модели и просили Astra обновлять отдельные участки, не давая ей инструменты и интернет. В игре Asterisk, где нужно уворачиваться от красных врагов и собирать жёлтые награды, Astra сама выбрала канал, отвечающий за направление движения объектов, и записала туда веса. Модель также по одним весам угадывала, для какой игры обучали сеть, и предсказывала, какую фигуру нарисует диффузионная модель (круг, треугольник или квадрат) с уверенностью 70–80%. Главная оговорка: Astra знала архитектуру и имела прямой доступ к входному и выходному слоям, поэтому для сетки 10x10 из шести копий (600 входов) она понимала смысл каждого канала и правила только нужные веса. Когда входной и выходной слои убрали, Astra по скрытым слоям модели на 7,2 млн параметров угадала, обучалась ли она на Python или английском, но не смогла отличить сикофантичные копии Gemma 3 на 270 млн параметров. Зато ей удалось точечной правкой весов исправить известный баг у Qwen с 800 млн параметров и поднять результат в математике с 7,9% до 48,1%. Автор сделал открытый бенчмарк weight space bench, чтобы сравнивать способности разных моделей в этой задаче.

Практика

Что получишь
Поймёте, как языковые модели могут редактировать веса нейросетей напрямую, в каких сценариях это уже сработало, а где результаты пока слабые, и сможете сравнить модели в открытом бенчмарке.
Первый шаг
Запустить weight space bench на своей модели, чтобы проверить, насколько она умеет читать и править веса.
Цифры
  • —20 000 параметров — столько у маленькой игровой модели, которую Astra писала с нуля
  • —600 входов — столько сигналов получает сеть в игре 10x10: шесть копий сетки, каждая 10x10
  • —7,2 млн параметров — модель, у которой Astra угадала язык обучения (Python или английский) только по скрытым слоям
  • —7,9% до 48,1% — насколько выросли ответы в математике у Qwen 800M после точечной правки весов
Честно
Ролик спонсирует Data Impulse, автор рекламирует прокси с партнёрской ссылкой. Результаты из блога могут быть подобраны вручную, а у Astra было знание архитектуры и прямого доступа к входным/выходным слоям, что давало ей преимущество. На более крупных моделях вроде Gemma 3 на 270 млн параметров улучшить математику или отличить сикофантичные копии не удалось.
Если слова незнакомы — 4 терминов

Компоненты

6 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник