代码之家 › 专栏 › 技术社区 › e1v1s

如何处理大熊猫中的超大数据集

dataframe pandas python

e1v1s · 技术社区 · 6 年前

我需要在一个MongoDB中合并5个集合,并将其作为一个csv文件返回。我可以用 from_records 方法无问题&使用 pd.merge 但问题是我要合并的每个数据帧都有20000+列和100000+行。由于规模的原因,合并过程显然非常缓慢。

我从来没有处理过这个数量级的数据——我可以用什么方法来加速这个过程?也许熊猫在这一点上不是正确的工具?

1 回复 | 直到 6 年前

madjaoue 6 年前

我想您需要分发您的处理。

实现这一点的一种方法是将输入拆分为多个块,使用多处理来生成中间输出,然后在最后将它们组合起来。

在熊猫身上我该怎么做?

推荐文章

July · 如何定义数字间隔,然后四舍五入

1 年前

Community wiki · 对象名称前的单下划线和双下划线的含义是什么?

1 年前

Brian Johnson · 为什么在Python中列出字典列表会引发TypeError?[已关闭]

1 年前

user026 · 如何根据特定窗口的平均值(行数)创建新列?

1 年前

Ashok Shrestha · 需要追踪特定的颜色线并获取坐标

1 年前

Nicote Ool · 在FastApi和Vue3中获得422

1 年前

NeoExceptCodeBad · 如果我有很多垂直线,我如何找到它们的边缘?

1 年前

Abdulaziz · 如何对集合内的列表进行排序[重复]

1 年前

user2743931 · 带有src目录的Python setup.py

1 年前

asmgx · 为什么合并数据帧不能按照python中的预期方式工作

1 年前