代码之家 › 专栏 › 技术社区 › Amelio Vazquez-Reina

火花对DASK的容错

dask pyspark apache-spark

Amelio Vazquez-Reina · 技术社区 · 6 年前

我读过 the following 上 数据库 已知限制部分中的文档:

它(dask)是不容错的。任何工人的故障都有可能使系统崩溃。

如果出现错误,它不会优雅地失败。

但我没看到有人提到容错 in the comparison with Spark .这些是目前 "Reasons why you might choose Spark" 以下内容:

您喜欢scala或SQL语言

你大部分都是合资企业基础设施和遗留系统

您需要一个成熟可靠的业务解决方案

您主要使用一些轻量级机器学习进行业务分析

你想要一个一体化的解决方案

我的问题:

1 回复 | 直到 6 年前

MRocklin 6 年前

那套文档页面是 非常老 也不应该是公开的。我刚把它们移走了。请看 http://dask.pydata.org/en/latest/ 以获取最新文档。

DASK对任何工人的损失都是容错的。如果中央调度程序失败,它将失败。

推荐文章

Leonard · Pyspark:JSON到Pyspark数据帧

1 年前

Fran Arenas · Pyspark collect()方法在Pycharm或控制台中执行测试时给出了不同的顺序

2 年前

titutubs · 有没有一种更有效的方法来为Databricks SQL中的bin值编写代码?

2 年前

markwatson · AWS Glue:如何在输出中添加具有源文件名的列?

6 年前

juamd · 顺序(k,<元组>)RDD

6 年前

Gaurav Gupta · 如何加载多行记录的CSV文件?

6 年前

Jared · 如何在本地模式下运行的pyspark中读取S3?

6 年前

ka_boom · 在pyspark中链接多个groupBy

6 年前

ds_user · 在apache spark中复制记录计数

6 年前

ds_user · 结合类型和子类型的Apache Spark组

6 年前