Локальный AI-агент на Python за восемь минут

Что в ролике
Если не хочется отправлять данные в облако и платить за API, агента можно собрать целиком на своём компьютере: локальная модель плюс несколько десятков строк Python. Модель автор ставит через Ollama и советует выбирать её по объёму доступной памяти: на Windows ориентир — видеопамять, на современных Mac — унифицированная память от 16 до 128 гигабайт, а для повторения хватит небольшой модели на 0,8, 2 или 4 миллиарда параметров. Проверка занимает три команды: одна скачивает модель, вторая показывает установленные, третья открывает чат в терминале — это и есть тест на скорость. Дальше в файле агента подключается библиотека Pydantic AI, которая обращается к локальному inference-серверу Ollama по адресу localhost на порту 11434. Инструментами агента становятся обычные функции Python: узнать текущее время, посчитать выражение, сохранить и прочитать заметку в файле — библиотека сама определяет их типы и разрешает модели их вызывать. Сам агент собирается из трёх частей: модель, список инструментов и системная инструкция, а запускает его простой цикл, который хранит историю сообщений и выходит по команде quit. В финале агент здоровается, записывает заметку про hello world, читает её, называет дату и время и отвечает заметно быстрее облачных моделей, потому что всё считается на месте. Компромисс автор тоже называет: чем крупнее модель, тем лучше ответы и тем медленнее работа, поэтому при тормозах надо брать вариант с меньшим числом параметров.
Практика
- Что получишь
- Сможешь поднять локальную модель и превратить её в агента с инструментами, который читает и пишет файлы у тебя на диске и не зависит от облака.
- Первый шаг
- Поставить Ollama, скачать командой pull небольшую модель вроде Qwen 3.5 на 2 или 4 миллиарда параметров и проверить её, запустив чат в терминале.
- Цифры
- —24 гигабайта — столько видеопамяти на его видеокарте 4090, по этому объёму он и подбирает модель
- —порт 11434 — локальный адрес сервера Ollama, к которому обращается код
- —от 16 до 128 гигабайт — столько унифицированной памяти бывает на современных Mac, это верхняя граница для модели
- —6,6 тысячи участников — столько набрало его бесплатное сообщество за последний месяц, закрыть его планируют ближе к 10 тысячам
- Честно
- Часть ролика — продвижение бесплатного сообщества автора: полный код лежит там, а закрыть доступ планируют, когда участников станет около 10 тысяч. Фрагменты кода он вставляет из буфера и разбирает по строкам, поэтому готовый файл агента придётся либо смотреть на экране, либо забирать в сообществе. Точные строки кода в речи не проговариваются.
Если слова незнакомы — 8 терминов
- локальная модельнейросеть, которая работает на твоём компьютере, а не на сервере чужой компании
- Ollamaбесплатная программа, через которую скачивают и запускают локальные модели
- видеопамятьпамять видеокарты, в неё должна поместиться модель, иначе она не запустится
- унифицированная памятьобщая память процессора и графики на Mac, считается так же, как видеопамять
- inference-серверлокальная служба, которая принимает запросы и прогоняет их через модель
- инструментыобычные функции Python, которые модель может вызвать во время ответа
- Pydantic AIбиблиотека для Python, которая связывает модель, инструменты и правила работы агента
- системная инструкцияпостоянное указание модели, как себя вести в диалоге
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 4:31.
Связки из этого ролика
5 шт.- Ollama + Qwen 3.5 4B — локальная модель, подобранная под объём VRAM или унифицированной памяти
- Ollama (localhost:11434) + Pydantic AI — локальный агент, который вызывает Python-функции как инструменты
- Pydantic AI + tool-функции (текущее время, калькулятор, запись и чтение заметки) + system prompt в объекте Agent
- Терминал + Ollama pull/list/run — загрузка модели и проверка скорости ответа до написания кода
- agent.py + while-цикл с историей сообщений и выходом по quit/exit — интерактивная оболочка агента
Компоненты
8 шт.Цитаты-доказательства
дословно из субтитров- we'll bring in a few imports here and then we'll paste in this line of code which is going to connect to our specific model4:31
- And then for the provider, it's going to be exactly this, localhost port 11,434.4:56
- I'm just going to paste a few different functions here. You don't need to copy them, obviously5:21
- So, the agent will look something like this in this specific Pydantic framework5:57
- If you guys want all of the code that I have right here, again, join my free school community.7:27
Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник