如何将数据集从S3导入cassandra?

详细信息取决于您的文件格式和C*数据模型,但可能看起来像这样:

• 将文件从s3读取到RDD

  val rdd=sc.textFile(“s3n://mybucket/path/filename.txt.gz”)

• 操纵rdd

• 将rdd写入cassandra表:

  rdd.saveToCassandra(“test”,“kv”,SomeColumns(“key”,“value”))

什么@ phact 所描述的是通过使用DataTaxEnterprise附带的SparkAPI,如果在加载过程中需要执行ETL工作,则该API可能非常有用。 仅用于加载,可以使用 sstableloader 散装装载能力。这是一个 tutorial 让你开始。