代码之家 › 专栏 › 技术社区 › hawkeye

在原生Clojure中是否有与弹性分布式数据集等效的数据集?

distributed rdd clojure data-structures

hawkeye · 技术社区 · 7 年前

RDD是:

它是一个不可变的分布式对象集合。RDD中的每个数据集被划分为逻辑分区,这些分区可以在集群的不同节点上计算。

从形式上讲,RDD是一个只读的、分区的记录集合。RDD可以通过对稳定存储或其他RDD上的数据进行确定性操作来创建。RDD是可以并行操作的元素的容错集合。

现在Clojure已经 immutable data structures 和 running 中的高阶函数 parallel

我知道 Flambo 和 Sparkling . 我不是在寻找一个接口,而是一个等效的数据结构。

我的问题是:

1 回复 | 直到 4 年前

Didier A. 7 年前

嗯,正常的Clojure映射和向量可以很容易地在子分区中使用core在多个核上并行处理。减速器/折叠。

Onyx和Storm是分布式计算框架,完全在Clojure中实现,可以做Spark做的事情。这些可能与spark上的RDD非常接近。

推荐文章

Sneha Sharma · 滑动窗口-在我的代码中找不到错误(非常基本的算法)

2 年前

Eddiex045 · 比较两个文本文件,匹配项转到一个新文件

2 年前

Liferafter · TypeError:缺少1个必需的位置参数(LinkedList)

2 年前

NOBUD · 最大堆插入函数实现C++

2 年前

Tuna ArÄ±yÃ¼rek · “结构对象*对象”和“对象*对象”之间的区别

2 年前

Mark Tyler · 具有O(1)随机移除和添加的数据结构,用于洗牌生成器顺序

6 年前

riasc · 嵌套贴图结构创建空贴图

6 年前

Foxhound013 · 将要发送到视图中的HighCharts的结构化数据

6 年前

Akshay Barpute · cpp中的以下链表程序有什么问题?

6 年前

Batwoman05 · C++中是否有具有类似函数的树集数据结构

6 年前