代码之家 › 专栏 › 技术社区 › Bo Qiang

使用dask对非常大的数据进行排序?

dask sorting dataframe pandas python

Bo Qiang · 技术社区 · 7 年前

我需要对数据表进行排序,该数据表的大小远远超过我使用的机器的物理内存大小。Pandas无法处理它,因为它需要将整个数据读入内存。达斯克能处理吗?

谢谢

1 回复 | 直到 5 年前

MRocklin 7 年前

是的,打电话 set_index 在要排序的列上。在一台机器上,它会智能地使用硬盘来释放多余的空间。

推荐文章

Sanskriti · 在C中,为什么10/3给出3.000,而它应该给出3.333?(保持10和3的变量被声明为“双”)

1 年前

Abhijit Sarkar · 为什么sort忽略了类中定义的总排序方法?

1 年前

Cute dog · 如何将文本与重新排序的图像相匹配?

1 年前

Shefali Kanaujia · 对C中向量的向量进行排序++

1 年前

Lakshya Kashyap · 如何先按数字降序排序,然后按字母升序排序

2 年前

Rohan Mittal · 按dict值对dict排序

2 年前

Pikachu620 · 可以对事件列表进行排序吗?

2 年前

Saif · 排序时python如何决定何时调用比较器?

2 年前

tryingmybest09 · 设置出生日期排序不正确

2 年前

Hariharan Ragothaman · python中多约束条件下按值排序字典

2 年前