如果运行.foreach()的节点失败,spark会做什么?

我们有一个有数百万行的大型RDD。每一行都需要使用许可的第三方优化器(Gurobi)进行处理。我们的许可证数量有限。

我们一直在调用Spark中的优化器 .map() 功能。问题是Spark运行的映射器比它需要的要多,并且会丢弃结果。这会导致许可证耗尽问题。

我们想打电话给火花里的古洛比 .foreach() 方法。这是可行的,但我们有两个问题:

1. 将数据从优化器返回到另一个RDD中。我们对此的初步计划是将结果写入数据库(例如MongoDB或DynaModb)。

2. 如果节点上的 .foreach()。 方法模具?Spark保证每个foreach只运行一次。它是否检测到它死了并在其他地方重新启动?或者发生了什么事?