代码之家  ›  专栏  ›  技术社区  ›  BAE

如何在spark作业中禁用Kafkatils覆盖我的kafka主题

  •  1
  • BAE  · 技术社区  · 6 年前

    我星火工作的一部分:

     val kafkaParams = Map[String, Object](
       "key.deserializer" -> classOf[StringDeserializer],
       "value.deserializer" -> classOf[StringDeserializer],
       "group.id" -> "mytopic",
     )
    
     try {
       val inputStream = KafkaUtils.createDirectStream(ssc,PreferConsistent, Subscribe[String, String](Array(inputTopic), kafkaParams))
       val processedStream = inputStream.map(record => record.value)
       processedStream.print()
       ssc.start
       ssc.awaitTermination
     } finally {
       ...
     }
    

    我得到了以下日志:

    2018-10-23 14:35:26 WARN  KafkaUtils:66 - overriding executor group.id to spark-executor-mytopic
    

    如何禁用主题覆盖?

    0 回复  |  直到 6 年前