代码之家  ›  专栏  ›  技术社区  ›  Shashi

streamingcontext没有构造函数

  •  -1
  • Shashi  · 技术社区  · 6 年前

    我是处理非常基本的火花流scala代码。代码如下

    import org.apache.spark.streaming._
    import org.apache.spark.streaming.StreamingContext
    import org.apache.spark.streaming.StreamingContext._
    import org.apache.spark.storage.StorageLevel
    import org.apache.spark.SparkConf
    object TestStreamProcessor {
    
        def main(args: Array [String]) {
    
                val batchInterval = 5
    
                    val sparkConfig = new SparkConf().setAppName("TestKinesisConsumer")
                    val ssc = new StreamingContext(sparkConfig, batchInterval)
                ssc.start()
                    ssc.awaitTerminationOrTimeout(batchIntervalSeconds * 5 * 1000)
    
    
        }
    }
    

    但是在使用maven构建代码时出现以下错误。

     error: org.apache.spark.streaming.StreamingContext does not have a constructor
    [INFO]              val ssc = new StreamingContext(sparkConfig, batchInterval)
    

    以前有人面对过吗?

    1 回复  |  直到 6 年前
        1
  •  2
  •   SergGr    6 年前

    那么你的问题到底是什么?如果你打开 docs 你可以看到 batchDuration 参数类型为 org.apache.spark.streaming.Duration . 你试过类似的东西吗

    val ssc = new StreamingContext(sparkConfig, Seconds(batchInterval))