代码之家 › 专栏 › 技术社区 › Arlo Clarke

如何以自动化方式导出大型Neo4j数据集进行分析

bigdata cypher neo4j apache-spark

Arlo Clarke · 技术社区 · 6 年前

我遇到了一个关于Neo4j使用的技术挑战,这让我困惑了一段时间。我的组织使用Neo4j来建模客户交互模式。该图的大小已增长到约200万个节点和700万条边。所有节点和边都有5到10个元数据属性。每天,我们都会将所有客户的数据从Neo4j导出到一系列执行业务逻辑的python流程。

我们最初的数据导出方法是使用分页的cypher查询来提取我们需要的数据。对于每个客户节点,cypher查询必须收集许多类型的周围节点和边缘,以便在必要的上下文中执行业务逻辑。不幸的是,随着数据的大小和密度的增长,这些分页查询开始花费太长的时间而变得不实用。

我们当前的方法使用一个定制的Neo4j过程来迭代节点,收集必要的周围节点和边,序列化数据,并将其放在Kafka队列中供下游使用。这种方法工作了一段时间,但现在需要足够长的时间,因此它也变得不切实际,特别是考虑到我们预计图形的大小将增长一个数量级。

我已经试过了 cypher-for-apache-spark 和 neo4j-spark-connector 这两个项目都无法提供我们所需的查询和数据传输速度。

我们目前在一个32GB内存和8核的Neo4j实例上运行。集群是否有助于缓解此问题?

有人对如何执行这种数据导出有什么想法或技巧吗?如能深入了解该问题,将不胜感激!

2 回复 | 直到 6 年前

Bartosz Konieczny 6 年前

据我所知,Neo4j不支持水平缩放,所有数据都存储在单个节点中。要使用Spark,您可以尝试将图形存储在2个以上的节点中,并从这些单独的节点加载数据集的部分,以“模拟”并行化。我不知道您引用的两个连接器是否都支持它。

但正如你的问题评论中所述,也许你可以尝试另一种方法。一个想法:

这还取决于您的数据更改频率、图形的深度和广度?

OpenCoderX 5 年前

Neo4j Enterprise支持群集,您可以使用因果群集功能,根据需要启动尽可能多的读取副本,在读取副本上并行运行查询,请参阅以下链接: https://neo4j.com/docs/operations-manual/current/clustering/setup-new-cluster/#causal-clustering-add-read-replica

推荐文章

Itay Regev · 在Neo4j中Dijkstra算法中使用多次属性

6 年前

Arlo Clarke · 如何以自动化方式导出大型Neo4j数据集进行分析

6 年前

skpraveen · 使用非Junit断言方法的TestMethodWithoutAssertion的JQassistant规则

6 年前

HT1 · Neo4j密码链从匹配查询输出到APOC

6 年前

Smaïne · 简单密码查询百分比计算

6 年前

user697911 · 如何在WHERE子句中使用OR?

6 年前

jatin patware · Cypher对Neo4j中特定节点的所有传入边的权重求和?

6 年前

Late Developer · Neo4J返回与一个特定节点链接的所有标签的列表

6 年前

De Gninou · 尼欧。客户错误。陈述TypeError:预期Long(0)为组织。neo4j。价值观可储存的

6 年前

Juliosor · 使用键()时,来自同一节点的重复属性

6 年前