如何以自动化方式导出大型Neo4j数据集进行分析

我遇到了一个关于Neo4j使用的技术挑战,这让我困惑了一段时间。我的组织使用Neo4j来建模客户交互模式。该图的大小已增长到约200万个节点和700万条边。所有节点和边都有5到10个元数据属性。每天,我们都会将所有客户的数据从Neo4j导出到一系列执行业务逻辑的python流程。

我们最初的数据导出方法是使用分页的cypher查询来提取我们需要的数据。对于每个客户节点,cypher查询必须收集许多类型的周围节点和边缘,以便在必要的上下文中执行业务逻辑。不幸的是,随着数据的大小和密度的增长,这些分页查询开始花费太长的时间而变得不实用。

我们当前的方法使用一个定制的Neo4j过程来迭代节点,收集必要的周围节点和边,序列化数据,并将其放在Kafka队列中供下游使用。这种方法工作了一段时间,但现在需要足够长的时间,因此它也变得不切实际,特别是考虑到我们预计图形的大小将增长一个数量级。

我已经试过了 cypher-for-apache-spark 和 neo4j-spark-connector 这两个项目都无法提供我们所需的查询和数据传输速度。

我们目前在一个32GB内存和8核的Neo4j实例上运行。集群是否有助于缓解此问题?

有人对如何执行这种数据导出有什么想法或技巧吗?如能深入了解该问题,将不胜感激!