К содержимому
Дайджест

Как устроены LLM: от нейросетей до RL

Matthew Berman·12 ноября 2026·56:16
можно прочитать мнение
Открыть на YouTube
Разговор с исследователем Anthropic Джереми Берманом о том, как устроены и обучаются большие языковые модели, для тех, кто хочет разобраться в теме без академического бэкграунда.

Что в ролике

Если вы хотите разобраться, как на самом деле обучают большие языковые модели, исследователь Anthropic Джереми Берман даёт интуитивный маршрут от простой нейросети до рассуждающих моделей. Он начинает с прогноза цены нью-йоркской квартиры по району, площади и числу ванных: нейросеть — это функция с крутилками-весами, и обучение сводится к подкручиванию этих весов, чтобы уменьшить ошибку (loss). PyTorch, JAX и TensorFlow автоматически следят за каждой крутилкой и через обратное распространение ошибки (бэкпроп) сообщают, в какую сторону её сдвинуть, чтобы предсказание стало точнее. Языковая модель — та же нейросеть, только учится предсказывать следующий токен, и базовая модель Qwen с 500 млн параметров на бесплатном Colab с T4 автодополняет текст, выдавая то код, то бессвязные фразы из интернета. Затем идёт постобучение: модели показывают пары «пользователь—ассистент» и стоп-токен, чтобы она перестала быть автодополнением и начала вести себя как полезный ассистент. Добавка «давай подумаем шаг за шагом» улучшила ответы, а первым публичным «думающим» стал OpenAI o1; метод обучения с подкреплением (RL) раскрыла статья DeepSeek R1, где модель пробует одну задачу по сто раз, оценивает каждый ответ и усиляет удачные варианты. В конце Берман спорит с критикой «модель не выйдет за пределы обучающих данных»: рассуждение, по его мнению, делает маловероятные истинные вещи более вероятными, поэтому новые открытия возможны.

Практика

Что получишь
Интуитивное понимание этапов обучения больших языковых моделей — от предобучения и инструктивного формата до обучения с подкреплением, а также план, как бесплатно запустить базовую модель и посмотреть на автодополнение.
Первый шаг
Запустить бесплатную среду Google Colab с GPU T4, скачать базовую модель Qwen с 500 млн параметров из открытых весов и попробовать автодополнение, как в ролике.
Цифры
  • —7 — столько частей в объяснении: от нейросетей до способности моделей делать открытия
  • —500 млн — параметров в базовой модели Qwen, которую запускают на бесплатном GPU T4
  • —100 — столько раз модель пробует одну задачу в обучении с подкреплением по методу GRPO
  • —3 — столько входных признаков в примере с квартирой: район, площадь, число ванных
Честно
Ролик образовательный: автор интервью не продаёт курс, но показывает экран с кодом и визуализацией крутилок, так что точный код и интерфейс нужно смотреть, а не читать. Исследователь работает в Anthropic, но продукт компании не рекламируется. Для повторения нужен Google Colab с бесплатной T4 и модель Qwen из открытых весов; ссылки обещают под видео, но в транскрипте их нет.
Если слова незнакомы — 5 терминов

Компоненты

10 шт.

Формат: интервью · для новичков · уверенность разметки 0.9 · источник