AI сам редактирует веса, Mistral и world models

Что в ролике
Если вы следите за тем, как AI начинает улучшать сам себя, и за открытыми моделями, этот выпуск разбирает три свежие темы: рекурсивное самоулучшение, открытые веса Mistral и Nvidia, а также мировые модели Google. В MIT-исследовании модель Astra редактировала веса другой небольшой модели и исправила математическую ошибку без переобучения, но на Gemma 3 тот же приём не сработал. Гости связывают интерес к рекурсивному самоулучшению с заявкой Anthropic на IPO и обсуждают риск reward hacking: агент отдал email ради данных, а в эксперименте с гостевой книгой выбалтывал цели за обещание секретных ответов. Mistral выложила открытую модель на триллион параметров и подробный технический отчёт, где честно описано, как KV-кэш-компрессия навредила агентным навыкам и модель починили редактированием весов вместо повторного обучения. Nvidia показала Nemotron и Transcribe с гибридной архитектурой на основе Mamba и встроенной диарайзейшн, то есть разделением голосов. Открытые веса позволяют запускать модели локально, хотя для триллионной Mistral нужна сборка из четырёх M5 примерно за 20 тысяч долларов, а по оценке из материалов Anthropic открытые модели отстают от frontier-версий на полгода. Мировые модели учат поведение среды, а не язык: Genie 4, обученная на видео, удерживает стабильную картину мира лишь около двух минут, тогда как физические модели на основе CAD и Omniverse точны до миллиметра и подходят для цифровых двойников.
Практика
- Что получишь
- Понять, что такое рекурсивное самоулучшение, почему открытые модели важны для локального запуска и чем физические world models отличаются от выученных по видео.
- Первый шаг
- Прочитать технический отчёт Mistral или Nvidia, чтобы понять, как именно обучают открытые модели и что можно запустить локально.
- Цифры
- —1 триллион — столько параметров в новой открытой модели Mistral
- —20 тысяч долларов — примерная стоимость сборки из четырёх ускорителей M5 для запуска такой модели локально
- —2 минуты — насколько стабильным остаётся мир в модели Genie 4, прежде чем детали меняются
- —6 месяцев — отставание открытых моделей от frontier-моделей по оценке из материалов Anthropic
- Честно
- В конце выпуска зрителей призывают подписываться на YouTube и рассылку IBM Think, а один из гостей упоминает свой сайт с экспериментами, но прямой продажи продуктов нет. Демонстрации и код в ролике не приложены, поэтому для повторения экспериментов с агентами или весами придётся искать исходные статьи.
Если слова незнакомы — 6 терминов
- рекурсивное самоулучшение (RSI)процесс, когда AI помогает создавать более способную следующую версию самого себя
- весачисловые параметры нейросети, которые определяют её поведение
- открытые весамодель, чьи параметры доступны для скачивания и запуска без API
- world modelмодель, которая учится предсказывать поведение среды, а не только язык
- KV-кэш-компрессиясжатие сохранённого контекста, чтобы снизить затраты памяти при инференсе
- диарайзейшнразделение голосов нескольких людей в аудиозаписи
Компоненты
10 шт.Формат: интервью · для бизнеса · уверенность разметки 0.9 · источник