代码之家 › 专栏 › 技术社区 › Parth Vishvajit

如何将cassandraRow转换为Row(apache spark)?

spark-cassandra-connector cassandra apache-spark

Parth Vishvajit · 技术社区 · 8 年前

我正在尝试从RDD[cassandraRow]创建数据帧……但我不能,因为createDataframe( RDD[行] ,schema:StructType)需要RDD[Row]而不是RDD[cassandraRow]。

(答案之一)关于在RDD[Row]上使用toDF()从RDD获取数据帧的建议不适用于我。

我正在使用Scala。

1 回复 | 直到 7 年前

zero323 little_kid_pea 8 年前

如果您确实需要,您可以随时将数据映射到Spark行:

sqlContext.createDataFrame(
  rdd.map(r => org.apache.spark.sql.Row.fromSeq(r.columnValues)),
  schema
)

但如果你想 DataFrames 最好直接导入数据:

val df = sqlContext
  .read
  .format("org.apache.spark.sql.cassandra")
  .options(Map( "table" -> table, "keyspace" -> keyspace))
  .load()

推荐文章

outside2344 · 在Kubernetes上的Spark 2.3下运行时,Cassandra连接器出现故障

6 年前

user1870400 · 如何在2.2.0中获得给定Apache Spark数据帧的Cassandra cql字符串?

6 年前

Mohamadreza Rostami · spark java API中使用spark cassandra连接器读取数据的问题

7 年前

user7982987 · Datastax驱动程序连接异常DSE 5.0,CASSANDRA 3.0.7,spark

7 年前

Mnemosyne · 通过解析参数上传Cassandra Spark连接器

7 年前

Suresh · 无法序列化foreachRDD中的SparkContext

8 年前

Rahul Koshaley · 具有多个上下文的Spark作业失败

8 年前

l0n3r4n83r · 分区密钥部分url的空值无效

8 年前

Parth Vishvajit · 如何将cassandraRow转换为Row(apache spark)?

8 年前

Sorabh Kumar · 如何使用spark-cassandra连接器连接到多个cassandra主机

9 年前