代码之家  ›  专栏  ›  技术社区  ›  Pawan

Spark Streaming中setJars()方法的输入应该是什么

  •  0
  • Pawan  · 技术社区  · 6 年前
    val conf = new SparkConf(true)
    .setAppName("Streaming Example")
    .setMaster("spark://127.0.0.1:7077")
    .set("spark.cassandra.connection.host","127.0.0.1")
    .set("spark.cleaner.ttl","3600")
    .setJars(Array("your-app.jar"))
    

    假设我正在创建一个Spark流应用程序

    “your app.jar”文件的内容应该是什么?我是否必须在本地文件系统中手动创建它并传递路径,或者这是一个使用sbt的Scala编译文件。

    如果这是一个scala文件,请帮助编写代码

    因为我是一个初学者,所以我只是想运行一些示例代码。

    1 回复  |  直到 6 年前
        1
  •  0
  •   Soumyadip Ghosh    6 年前

    SparkConf类的setJars方法接受需要在集群上分布的外部jar。任何外部驱动程序,如JDBC等。

    如果这是您的要求,那么您不必在此传递您自己的应用程序JAR。