1
0
根据用户8371915在评论中给出的建议,我使用了样本而不是限制。它打开了瓶颈。 一个很小但很重要的细节:我仍然需要在采样后对结果集施加一个可预测的大小约束,但是采样输入了一个分数,因此结果集的大小可以很大程度上取决于输入的大小。 幸运的是,使用count()运行相同的查询非常快。所以我首先计算了整个结果集的大小,然后用它来计算我后来在样本中使用的分数。 |
Bruno Peixoto · Spark群集CI管道构建失败 1 年前 |
mcsilvio · 在foreach中组织联接的最佳方式是什么? 1 年前 |
Dhruv · 在sbt控制台上运行Spark 1 年前 |
Leonard · Pyspark:JSON到Pyspark数据帧 1 年前 |
billie class · 将列中的值重写为列表中的下一个值 2 年前 |