К содержимому
Дайджест

itertools: 400 раз меньше памяти на группировке

Real Python·12 ноября 2026·8:57
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Практический урок Real Python о том, как строить ленивые пайплайны из итераторов и решать задачу группировки с минимальной памятью.

Что в ролике

Если нужно разрезать список из 100 миллионов чисел на группы по 10, наивное решение со срезами и списками занимает около 4,5 ГБ памяти. Та же задача на итераторах с приёмом «общий итератор + zip» укладывается примерно в 11 МБ — около 400 раз меньше, и код занимает две строки. Автор объясняет базовые понятия iterable и iterator, показывает, как zip и map работают лениво, ничего не вычисляя до запроса значения. Для неровных данных классический рецепт grouper использует zip_longest с заполнением None, чтобы не терять хвост. Вместо самодельного рецепта можно взять встроенную функцию batched: она отдаёт последнюю группу короче без заполнения, а при strict=True проверяет, что длина делится нацело. Также в курсе будут практические задачи: перетасовка колоды карт, анализ 70 лет биржевой истории и формирование эстафетных команд для плавательного клуба. Материал рассчитан на уверенных пользователей Python, знакомых с итераторами, генераторами и распаковкой кортежей.

Практика

Что получишь
Вы научитесь собирать ленивые пайплайны из маленьких итераторов, экономить память на группировке данных и выбирать между grouper-рецептом и встроенной функцией batched.
Первый шаг
Откройте REPL, создайте список чисел и повторите трюк с двумя ссылками на один итератор, переданными в zip, чтобы увидеть, как формируются пары.
Цифры
  • —400 раз — во столько меньше памяти использует версия с итераторами по сравнению с наивной
  • —4,5 ГБ — столько памяти требует наивная версия со срезами для 100 миллионов чисел
  • —11 МБ — столько памяти требует версия с итераторами для той же задачи
  • —100 миллионов — количество чисел в демонстрационном примере группировки
Честно
Это вводный фрагмент курса Real Python по itertools; полный курс может быть платным, цена в ролике не указана. Цифры по памяти взяты из демонстрации автора в терминале и в вашем окружении могут отличаться.
Если слова незнакомы — 6 терминов

Связки из этого ролика

1 шт.

Компоненты

6 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.82 · источник