itertools: 400 раз меньше памяти на группировке

Что в ролике
Если нужно разрезать список из 100 миллионов чисел на группы по 10, наивное решение со срезами и списками занимает около 4,5 ГБ памяти. Та же задача на итераторах с приёмом «общий итератор + zip» укладывается примерно в 11 МБ — около 400 раз меньше, и код занимает две строки. Автор объясняет базовые понятия iterable и iterator, показывает, как zip и map работают лениво, ничего не вычисляя до запроса значения. Для неровных данных классический рецепт grouper использует zip_longest с заполнением None, чтобы не терять хвост. Вместо самодельного рецепта можно взять встроенную функцию batched: она отдаёт последнюю группу короче без заполнения, а при strict=True проверяет, что длина делится нацело. Также в курсе будут практические задачи: перетасовка колоды карт, анализ 70 лет биржевой истории и формирование эстафетных команд для плавательного клуба. Материал рассчитан на уверенных пользователей Python, знакомых с итераторами, генераторами и распаковкой кортежей.
Практика
- Что получишь
- Вы научитесь собирать ленивые пайплайны из маленьких итераторов, экономить память на группировке данных и выбирать между grouper-рецептом и встроенной функцией batched.
- Первый шаг
- Откройте REPL, создайте список чисел и повторите трюк с двумя ссылками на один итератор, переданными в zip, чтобы увидеть, как формируются пары.
- Цифры
- —400 раз — во столько меньше памяти использует версия с итераторами по сравнению с наивной
- —4,5 ГБ — столько памяти требует наивная версия со срезами для 100 миллионов чисел
- —11 МБ — столько памяти требует версия с итераторами для той же задачи
- —100 миллионов — количество чисел в демонстрационном примере группировки
- Честно
- Это вводный фрагмент курса Real Python по itertools; полный курс может быть платным, цена в ролике не указана. Цифры по памяти взяты из демонстрации автора в терминале и в вашем окружении могут отличаться.
Если слова незнакомы — 6 терминов
- iterableобъект, который умеет отдавать элементы по одному, например список или строка
- iteratorобъект, который хранит текущую позицию и выдаёт следующий элемент по вызову next
- zip_longestфункция, которая объединяет элементы из нескольких iterable и заполняет недостающие значения None до длины самого длинного
- grouperклассический рецепт на основе zip_longest для разбиения iterable на группы фиксированной длины с заполнением последней группы
- batchedвстроенная функция Python для разбиения iterable на группы, где последняя группа может быть короче без заполнения
- strictпараметр batched, который при True выбрасывает ошибку, если длина данных не делится на размер группы нацело
Связки из этого ролика
1 шт.- Python
Компоненты
6 шт.Формат: пошаговый урок · для практикующих · уверенность разметки 0.82 · источник