代码之家 › 专栏 › 技术社区 › e1v1s

如何处理大熊猫中的超大数据集

dataframe pandas python

e1v1s · 技术社区 · 6 年前

我需要在一个MongoDB中合并5个集合,并将其作为一个csv文件返回。我可以用 from_records 方法无问题&使用 pd.merge 但问题是我要合并的每个数据帧都有20000+列和100000+行。由于规模的原因,合并过程显然非常缓慢。

我从来没有处理过这个数量级的数据——我可以用什么方法来加速这个过程?也许熊猫在这一点上不是正确的工具?

1 回复 | 直到 6 年前

madjaoue 6 年前

我想您需要分发您的处理。

实现这一点的一种方法是将输入拆分为多个块,使用多处理来生成中间输出,然后在最后将它们组合起来。

在熊猫身上我该怎么做?

推荐文章

user1245262 · 筛选Pandas数据帧时出现问题

1 年前

Foroand · 熊猫数据帧中的词频计数耗时过长

1 年前

user14696236 · 如何为每个对应的列创建一行[重复]

2 年前

Shawn Hemelstrand · 为什么我的自定义errorbar函数不能在R中工作?

2 年前

Karim Abou El Naga · 将带字符串的DataFrame绘制到堆叠条形图中

2 年前

The Great · 拆分并存储数据帧,但名称基于特定列中的唯一值

2 年前

nickolakis · 基于R中的列名复制列

2 年前

opposity · 形成一个数据帧,该数据帧包含R中包含类别和子类别的列

2 年前

A. Handler · 有没有办法将数据帧的列与完整列名向量相匹配?

2 年前

JasonX · 运行减法计算

2 年前