代码之家  ›  专栏  ›  技术社区  ›  Mnemosyne

通过解析参数上传Cassandra Spark连接器

  •  0
  • Mnemosyne  · 技术社区  · 7 年前

    我正在scala中使用spark cassandra连接器,我想将一些条目上传到表中。我看到了以下使用python驱动程序的会话构造的上传方法:

    session.execute(
        """
        INSERT INTO users (name, credits, user_id)
        VALUES (%s, %s, %s)
        """,
        ("John O'Reilly", 42, uuid.uuid1())
    )
    

    1 回复  |  直到 7 年前
        1
  •  1
  •   RussS    7 年前

    Spark Cassandra连接器主要用于使用Spark处理卡桑德拉数据。这意味着如果你不使用这些词 Dataset , Dataframe RDD 您可能不需要使用Spark Cassandra连接器。

    上面使用的格式在Java驱动程序中有效,该驱动程序是Spark Cassandra连接器的一部分,可以通过 CassandraConnector Documentation

    import com.datastax.spark.connector.cql.CassandraConnector
    
    CassandraConnector(conf).withSessionDo { session =>
      session.execute("CREATE KEYSPACE test2 WITH REPLICATION = {'class': 'SimpleStrategy', 'replication_factor': 1 }")
      session.execute("CREATE TABLE test2.words (word text PRIMARY KEY, count int)")
    }