К содержимому
Дайджест

Управление памятью Python и выбор раскладки проекта

Real Python·30 октября 2026·45:35
можно прочитать что произошло промо
Открыть на YouTube
Выпуск подкаста Real Python с обзором статей и проектов недели — о памяти в CPython, формате Parquet, структуре Python-проектов и двух инструментах для Django.

Что в ролике

Тем, кто работает с табличными данными, будет полезен разбор статьи о Parquet: на почти гигабайтном наборе поездок нью-йоркского такси чтение CSV с вычислением среднего тарифа занимает 175 мс, а тот же расчёт из Parquet — 6,6 мс, то есть в 27 раз быстрее. Формат хранит данные по колонкам, использует словарное кодирование, серийное кодирование и упаковку битов, поэтому файл занимает шестую часть исходного CSV, а столбец с 64-битными суммами сжимается с 76 МБ до 2,2 МБ; при этом Parquet остаётся потоковым, и Polars умеет сканировать его без полной загрузки в память, но добавлять отдельные строки нельзя — нужно перезаписать файл целиком. В статье Дэниела Бестула о памяти в CPython объясняется, что для объектов меньше 512 байт используется собственный аллокатор pymalloc: он запрашивает у ОС арены по 64 пула, а пулы делятся на блоки одинакового размера, чтобы реже обращаться к системе; недостаток в том, что процесс почти не отдаёт память обратно, пока в пуле остаётся хотя бы один живой объект. Освобождение памяти работает через подсчёт ссылок и сборщик мусора: счётчик уменьшается при потере ссылки, а при нуле объект удаляется, но циклические ссылки требуют отдельного сканирования, и ожидается PEP 848 с настраиваемым инкрементальным сборщиком. Третья большая статья — обновлённый гид Леоданиса Позо Рамоса по структуре проектов: для скриптов и приложений обычно берут плоскую раскладку (пакет в корне рядом с конфигом pyproject), а для библиотек и переиспользуемых пакетов — src-раскладку, которая не позволяет импортировать код без установки и тем самым выявляет ошибки упаковки. В статье про Pendulum рассказывается, как библиотека ради совместимости с datetime переопределяла оператор сложения и заглядывала в стек вызовов, чтобы понять, какой ответ нужен вызывающему коду; после исправления она передаёт наивный объект и оборачивает результат, что удалило «проклятый» код и дало трёхкратное ускорение. В разделе проектов — Django Benchmark для сравнительного профилирования приложений под разными рантаймами (sync, threaded, async) и Django Upgrade Report, который по lock-файлу находит несовместимые зависимости и предлагает порядок обновления.

Практика

Что получишь
Вы поймёте, когда переходить с CSV на Parquet, как CPython распределяет память для мелких объектов и чем плоская раскладка проекта отличается от src-раскладки, а также увидите два новых Django-инструмента для профилирования и обновления зависимостей.
Первый шаг
Откройте статью о Parquet и сравните на своих данных время чтения CSV и Parquet в Polars — это покажет, даёт ли формат выигрыш для ваших задач.
Цифры
  • —175 мс — столько занимает чтение CSV и подсчёт среднего тарифа из почти гигабайтного набора данных NYC Taxi, а из Parquet то же самое — 6,6 мс (в 27 раз быстрее)
  • —512 байт — граница: объекты меньше неё CPython выделяет через pymalloc, больше — через обычный malloc
  • —76 МБ → 2,2 МБ — настолько сжимается столбец с 64-битными суммами оплаты благодаря словарному, серийному и битовому кодированию в Parquet
  • —3 раза — во столько ускорилась операция сложения в Pendulum после удаления проверки стека вызовов
Честно
В выпуске несколько раз рекламируется платный двухдневный live-курс Real Python по Codex (14–15 ноября) и сообщество realpython.com; это собственная реклама подкаста. Подробные схемы структуры проектов, анимации в статье о Parquet и примеры вывода инструментов видны только на экране или в статьях по ссылкам, а сам выпуск — обзор, а не пошаговая инструкция для повторения.
Если слова незнакомы — 5 терминов

Связки из этого ролика

4 шт.

Компоненты

22 шт.

Формат: реакция на новость · для практикующих · уверенность разметки 0.9 · источник