代码之家  ›  专栏  ›  技术社区  ›  HariJustForFun

将JDBC连接传递给Spark Read

  •  0
  • HariJustForFun  · 技术社区  · 5 年前

    我有一个SQL脚本,它创建的临时表只对该会话有效。现在,在运行脚本之后,我试图通过spark从表中读取数据,然后对其进行处理。下面是我读到的火花代码。

    sparkSession.read().format("jdbc").option("url", 
    jdbcURL).option("dbtable", tableOrQuery).option("user", 
    userName).option("password", password)
          .option("driver", driverName).load();
    

    现在我需要传递我创建的JDBC连接,以便Spark可以在同一个会话中读取数据。这有可能吗?

    1 回复  |  直到 5 年前
        1
  •  1
  •   Duy Nguyen    5 年前

    不,不能将JDBC连接传递给Spark。它将自己管理JDBC连接。

    JdbcRelationProvider Create Connection

    JdbcUtils connect