mini-AGI на MacBook: как модель учится с нуля и не забывает

Что в ролике
Если хочется обучить языковую модель с нуля на своём ноутбуке, mini-AGI позиционируется как крошечная модель, которая читает текст порциями и делает шаг обучения после каждого куска без финиша. Автор запустил её на M2 Max MacBook Pro с 32 ГБ памяти (хотя репозиторий тестировался только на Nvidia) и за пару часов получил от случайных чисел простые детские фразы вроде «Once upon a time there was very down». Затем он скормил модели сценарии Тарантино — «Криминальное чтиво», «Джеки Браун», «Джанго освобождённый» и другие — и уже через 5 минут модель освоила разметку сценария, а через полчаса в тексте появились Орделл, Льюис и Шульц, но персонажи извинялись как детсадовцы. Ключевая механика — смесь экспертов, где каждый эксперт лежит отдельным файлом на диске и подгружается только нужный, а общее ядро меняется в 10 раз медленнее, поэтому в тесте на катастрофическое забывание после восьми предметов и обучения шахматам модель сохранила 99,84% прежних знаний. Вторая фаза с Тарантино сначала испортила английский, но утреннее переключение обратно на детские сказки вернуло язык за 5 минут, а повторное добавление ещё трёх сценариев почти мгновенно дало лучший результат на скрытом сценарии «Бешеных псов». Итоговая модель после 7–9 часов обучения в диалоговом интерфейсе выдавала странные реплики Фредди с повтором «a silence» и сама переключала сцены. Автор прямо называет mini-AGI игрушечной, веса ещё не выложены, а для связной речи Тарантино понадобились бы сотни миллионов символов и несколько дней непрерывного обучения.
Практика
- Что получишь
- Поймёте, как mini-AGI решает проблему катастрофического забывания и экономит память, и увидите реальный результат 7–9 часов обучения на M2 MacBook Pro.
- Первый шаг
- Скачать репозиторий mini-AGI и запустить обучение с нуля на датасете Tiny Stories, как показано в ролике.
- Цифры
- —99,84% — столько прежних знаний сохранила mini-AGI после обучения шахматам в тесте автора
- —7 минут — столько потребовалось модели на MacBook, чтобы выдать первую фразу «thousand warme»
- —7–9 часов — суммарное время обучения, после которого модель начала выдавать тарантиновские реплики
- —32 ГБ — объём памяти MacBook Pro, на котором проходило обучение
- Честно
- Сторонних продуктов автор не рекламирует, но в конце просит подписаться на канал Better Stack. Веса mini-AGI ещё не выложены, поэтому готовую модель скачать нельзя — придётся обучать её самому, причём репозиторий, по словам автора, тестировался только на Nvidia, хотя он запускал на MacBook. Команды, интерфейс screenplay-чата и настройки видны только на экране, а итоговая модель остаётся игрушечной и для продакшена не годится.
Если слова незнакомы — 4 терминов
- смесь экспертовархитектура модели из нескольких маленьких специализированных подсетей, из которых в каждый момент активны только нужные
- катастрофическое забываниекогда модель после обучения новому резко теряет прежние навыки
- репозиторийхранилище кода проекта, обычно на GitHub
- весачисловые параметры модели, которые меняются при обучении
Понадобится экран
Часть информации есть только на экране (проход по интерфейсу). Открыть на YouTube с 9:49.
Компоненты
1 шт.Цитаты-доказательства
дословно из субтитров- And here you can just define what kind of character you're going to play, who's going to be your scene partner, and then we're setting a scene with a heading and an action to begin with.9:49
- And then we can also choose the reply length. And then we can also tone the temperature, how crazy we want the responses to be.9:59
Формат: сборка на живом примере · для практикующих · уверенность разметки 0.85 · источник