Polars 2.0 меняет порядок строк без предупреждения

Что в ролике
Polars 2.0 не добавляет ни одной новой функции, но меняет поведение уже написанного кода: по умолчанию все существующие запросы переезжают на новый потоковый движок. Потоковый движок режет данные на мелкие куски, которые разработчики называют «морселями», подгоняет их под размер кэша процессора и ведёт по плану запроса как сборочную линию, тогда как старый движок держал весь набор в памяти. Цена этого — порядок строк: join, group_by и unpivot больше не гарантируют его, если не запросить явно. На демо видно, что тот же код на lazy frame с ключом 2110 и left join даёт другой порядок, maintain_order = left возвращает исходный, а explain() показывает новое поведение, не скрывая его. Отдельно перечислены удаления и переименования: read_csv заменён на scan_csv и collect, melt стал unpivot, join_nulls — nulls_equal, прямой каст int в categorical и string в date убран, а сложение двух 64-битных целых теперь даёт int128 вместо молчаливой потери точности во float. concat больше не угадывает при разной высоте фреймов, но каждое удаление бросает ошибку attribute removed с подсказкой, чем заменить. Вердикт честный: обещанные «в пять раз быстрее» автор не подтверждает, настоящего out-of-core со сбросом на диск ещё нет, а в релиз-кандидате есть баги — group_by_dynamic падает с ошибкой диапазона дат, limit не сокращает работу после join, string в datetime возвращает null. Вывод: новым проектам — да, пайплайнам, которые зависят от порядка строк, лучше подождать; в Rust-крейте Polars 2.0 тоже ещё нет, там версия 0.55.
Практика
- Что получишь
- Список того, что сломается в твоём коде после обновления, и понимание, как быстро найти проблему: по ошибкам attribute removed, через explain() и через проверку порядка строк.
- Первый шаг
- Прогнать грепом свои джойны и group_by, у которых нет сортировки после них, — именно там новый движок меняет результат незаметно.
- Цифры
- —5x — обещанное ускорение нового потокового движка, которого автор на своих данных не увидел
- —0.55 — версия Polars в Rust-крейте, то есть 2.0 для Rust ещё не вышел
- —3 бага релиз-кандидата: group_by_dynamic с датами, limit после join и string в datetime
- —int128 вместо float — так теперь считается сумма двух больших целых, чтобы не терять точность
- Честно
- Это не официальный релиз, а релиз-кандидат: ставится командой uv pip install --pre polars, в стабильной ветке Polars 2.0 ещё нет, и баги в нём автор перечисляет сам. Промо своего продукта в ролике нет, только приглашение подписаться. Экран нужен для результата: код автор проговаривает словами, а вот порядок строк и вывод explain() видны только в терминале.
Если слова незнакомы — 8 терминов
- lazy frameотложенный запрос: Polars сначала строит план и только потом считает
- collectкоманда, которая запускает отложенный запрос и возвращает результат
- потоковый движокрежим обработки, где данные идут через запрос порциями, а не лежат в памяти целиком
- морсельнебольшая порция данных под размер кэша процессора, которой оперирует потоковый движок
- joinсоединение двух таблиц по общему ключу
- unpivotпревращение широкой таблицы в длинную, раньше называлось melt
- out-of-coreобработка данных, которые не помещаются в память, с выгрузкой на диск
- релиз-кандидатпредварительная версия, где ещё возможны баги и правки до финального выпуска
Связки из этого ролика
5 шт.- Polars 2.0 + потоковый движок — перевод существующих запросов на новый engine по умолчанию без единой правки в коде
- maintain_order="left" + join — возврат гарантии порядка строк, которую 2.0 больше не даёт по умолчанию
- explain() + lazy frame и collect — проверка, какие операции перестали сохранять порядок
- Polars + DuckDB — сравнение: DuckDB SQL-first, Polars — expression API для Python на одной машине
- uv pip install --pre polars — установка релиз-кандидата 2.0 (в Rust-крейте Polars 2.0 ещё нет, там 0.55)
Компоненты
10 шт.Формат: обзор · для практикующих · уверенность разметки 0.8 · источник