Как устроены LLM: от нейросетей до RL

Что в ролике
Если вы хотите разобраться, как на самом деле обучают большие языковые модели, исследователь Anthropic Джереми Берман даёт интуитивный маршрут от простой нейросети до рассуждающих моделей. Он начинает с прогноза цены нью-йоркской квартиры по району, площади и числу ванных: нейросеть — это функция с крутилками-весами, и обучение сводится к подкручиванию этих весов, чтобы уменьшить ошибку (loss). PyTorch, JAX и TensorFlow автоматически следят за каждой крутилкой и через обратное распространение ошибки (бэкпроп) сообщают, в какую сторону её сдвинуть, чтобы предсказание стало точнее. Языковая модель — та же нейросеть, только учится предсказывать следующий токен, и базовая модель Qwen с 500 млн параметров на бесплатном Colab с T4 автодополняет текст, выдавая то код, то бессвязные фразы из интернета. Затем идёт постобучение: модели показывают пары «пользователь—ассистент» и стоп-токен, чтобы она перестала быть автодополнением и начала вести себя как полезный ассистент. Добавка «давай подумаем шаг за шагом» улучшила ответы, а первым публичным «думающим» стал OpenAI o1; метод обучения с подкреплением (RL) раскрыла статья DeepSeek R1, где модель пробует одну задачу по сто раз, оценивает каждый ответ и усиляет удачные варианты. В конце Берман спорит с критикой «модель не выйдет за пределы обучающих данных»: рассуждение, по его мнению, делает маловероятные истинные вещи более вероятными, поэтому новые открытия возможны.
Практика
- Что получишь
- Интуитивное понимание этапов обучения больших языковых моделей — от предобучения и инструктивного формата до обучения с подкреплением, а также план, как бесплатно запустить базовую модель и посмотреть на автодополнение.
- Первый шаг
- Запустить бесплатную среду Google Colab с GPU T4, скачать базовую модель Qwen с 500 млн параметров из открытых весов и попробовать автодополнение, как в ролике.
- Цифры
- —7 — столько частей в объяснении: от нейросетей до способности моделей делать открытия
- —500 млн — параметров в базовой модели Qwen, которую запускают на бесплатном GPU T4
- —100 — столько раз модель пробует одну задачу в обучении с подкреплением по методу GRPO
- —3 — столько входных признаков в примере с квартирой: район, площадь, число ванных
- Честно
- Ролик образовательный: автор интервью не продаёт курс, но показывает экран с кодом и визуализацией крутилок, так что точный код и интерфейс нужно смотреть, а не читать. Исследователь работает в Anthropic, но продукт компании не рекламируется. Для повторения нужен Google Colab с бесплатной T4 и модель Qwen из открытых весов; ссылки обещают под видео, но в транскрипте их нет.
Если слова незнакомы — 5 терминов
- lossчисло, показывающее, насколько предсказание модели расходится с правильным ответом
- бэкпропобратное распространение ошибки: способ рассчитать, как менять каждый параметр, чтобы уменьшить ошибку
- токенфрагмент слова или текста, который модель обрабатывает как одну единицу
- постобучениедообучение модели после предобучения, чтобы она вела себя как ассистент
- RLобучение с подкреплением: модель учится на собственных попытках и их оценке
Компоненты
10 шт.Формат: интервью · для новичков · уверенность разметки 0.9 · источник