spark数据帧中数据的一致性视图

除了复制到单独的不可变配置单元表之外,如何获得一致的数据帧和la oracle的读取一致性模型?

根本没有这样的选择。

有人天真地建议 cache 以及强制评估:

val df: DataFrame = ???
df.cache    // Default StorageLevel - MEMORY_AND_DISK
df.foreach(_ => ())

但它只是没有提供所需的保证,特别是在节点故障的情况下。你可以通过设置 StorageLevel 到 MEMORY_AND_DISK_2 ,但它仍然会导致静默正确性错误。

所以直言不讳-Spark不是一个数据库,不要把它当成一个数据库。如果您已经使用了配置单元和可变状态,那么跳过spark并使用配置单元的acid和事务选项。