Polars 2.0 将流式处理设为默认，并新增溢写到磁盘的查询
总部位于阿姆斯特丹的 Polars 表示，初步的磁盘溢写功能覆盖了排序、窗口函数和许多表达式；连接和分组操作仍在内存中执行。
By RuntimeWire Staff · Published
Primary source: Polars
为何重要
Polars 2.0 将流式执行设为默认，这一改变旨在使内存高效执行成为常规路径，并在 Vink 努力将一个 DataFrame API 扩展到更大的生产查询时，新增了有限的磁盘溢写支持。开发者还需要显式处理行顺序，而连接和分组仍然无法溢写到磁盘。
Ritchie Vink，他在 2020 年将 Polars 作为一个开源项目启动，已将该库的流式引擎设为 Polars 2.0（于 10 月 6 日发布）的默认引擎。此更改旨在使内存高效的执行成为用户的常用路径，同时初步的溢写到磁盘支持使得在数据不再适合 RAM 时某些查询能够继续运行。
Vink 的 发布帖 描述了一个起初为学习 Rust 和查询引擎而开始的项目。他后来写道，对 pandas 性能和设计的沮丧帮助将这个副项目变成了一个更快的 DataFrame 库。在八月，他以更实际的措辞推介即将成为默认设置的变更：在 一篇 X 帖子 中说，“你的代码在不做任何改动的情况下会更快”。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.