Flink以Ceph作为持久存储

Ceph 将自己描述为 统一分布式存储系统 并提供了网络文件系统API。因此,它应该与Flink的状态后端无缝协作,将检查点持久化到远程文件系统。

我不知道有人使用Ceph(HDFS和S3更常用),也没有关于性能的信息。但是,请注意,Flink能够异步写入检查点,因此存储系统的性能不会影响Flink应用程序的处理速度。然而,它可能会限制检查点的间隔。

更新: (2018年2月)我注意到,多个用户在Flink的用户邮件列表上报告说,他们正在与Flink一起使用Ceph。

更新2: Flink可以很好地使用S3协议,而且两者都可以( Presto & Hadoop )Flink的S3文件系统插件可以很好地使用它。