Управление памятью Python и выбор раскладки проекта

Что в ролике
Тем, кто работает с табличными данными, будет полезен разбор статьи о Parquet: на почти гигабайтном наборе поездок нью-йоркского такси чтение CSV с вычислением среднего тарифа занимает 175 мс, а тот же расчёт из Parquet — 6,6 мс, то есть в 27 раз быстрее. Формат хранит данные по колонкам, использует словарное кодирование, серийное кодирование и упаковку битов, поэтому файл занимает шестую часть исходного CSV, а столбец с 64-битными суммами сжимается с 76 МБ до 2,2 МБ; при этом Parquet остаётся потоковым, и Polars умеет сканировать его без полной загрузки в память, но добавлять отдельные строки нельзя — нужно перезаписать файл целиком. В статье Дэниела Бестула о памяти в CPython объясняется, что для объектов меньше 512 байт используется собственный аллокатор pymalloc: он запрашивает у ОС арены по 64 пула, а пулы делятся на блоки одинакового размера, чтобы реже обращаться к системе; недостаток в том, что процесс почти не отдаёт память обратно, пока в пуле остаётся хотя бы один живой объект. Освобождение памяти работает через подсчёт ссылок и сборщик мусора: счётчик уменьшается при потере ссылки, а при нуле объект удаляется, но циклические ссылки требуют отдельного сканирования, и ожидается PEP 848 с настраиваемым инкрементальным сборщиком. Третья большая статья — обновлённый гид Леоданиса Позо Рамоса по структуре проектов: для скриптов и приложений обычно берут плоскую раскладку (пакет в корне рядом с конфигом pyproject), а для библиотек и переиспользуемых пакетов — src-раскладку, которая не позволяет импортировать код без установки и тем самым выявляет ошибки упаковки. В статье про Pendulum рассказывается, как библиотека ради совместимости с datetime переопределяла оператор сложения и заглядывала в стек вызовов, чтобы понять, какой ответ нужен вызывающему коду; после исправления она передаёт наивный объект и оборачивает результат, что удалило «проклятый» код и дало трёхкратное ускорение. В разделе проектов — Django Benchmark для сравнительного профилирования приложений под разными рантаймами (sync, threaded, async) и Django Upgrade Report, который по lock-файлу находит несовместимые зависимости и предлагает порядок обновления.
Практика
- Что получишь
- Вы поймёте, когда переходить с CSV на Parquet, как CPython распределяет память для мелких объектов и чем плоская раскладка проекта отличается от src-раскладки, а также увидите два новых Django-инструмента для профилирования и обновления зависимостей.
- Первый шаг
- Откройте статью о Parquet и сравните на своих данных время чтения CSV и Parquet в Polars — это покажет, даёт ли формат выигрыш для ваших задач.
- Цифры
- —175 мс — столько занимает чтение CSV и подсчёт среднего тарифа из почти гигабайтного набора данных NYC Taxi, а из Parquet то же самое — 6,6 мс (в 27 раз быстрее)
- —512 байт — граница: объекты меньше неё CPython выделяет через pymalloc, больше — через обычный malloc
- —76 МБ → 2,2 МБ — настолько сжимается столбец с 64-битными суммами оплаты благодаря словарному, серийному и битовому кодированию в Parquet
- —3 раза — во столько ускорилась операция сложения в Pendulum после удаления проверки стека вызовов
- Честно
- В выпуске несколько раз рекламируется платный двухдневный live-курс Real Python по Codex (14–15 ноября) и сообщество realpython.com; это собственная реклама подкаста. Подробные схемы структуры проектов, анимации в статье о Parquet и примеры вывода инструментов видны только на экране или в статьях по ссылкам, а сам выпуск — обзор, а не пошаговая инструкция для повторения.
Если слова незнакомы — 5 терминов
- Parquetколоночный формат хранения табличных данных, оптимизированный для аналитики и сжатия
- pymallocвстроенный в CPython аллокатор, который выделяет память для объектов меньше 512 байт
- сборщик мусорамеханизм Python, который находит и освобождает объекты с циклическими ссылками, когда подсчёт ссылок бессилен
- src-раскладкаструктура проекта, в которой код пакета лежит в подкаталоге src и не импортируется без установки
- lock-файлфайл с зафиксированными версиями зависимостей проекта
Связки из этого ролика
4 шт.- Python + Django
- Polars + DuckDB + Pandas
- Django + uv + Poetry
- PyScript + Pyodide
Компоненты
22 шт.Формат: реакция на новость · для практикующих · уверенность разметки 0.9 · источник