什么是用spark.implicit.导入的?

scala允许您将“动态”的东西导入到范围中。你也可以这样做:

final case class Greeting(hi: String)

def greet(greeting: Greeting): Unit = {
  import greeting._ // everything in greeting is now available in scope
  println(hi)
}

这个 SparkSession 实例带有一些您在您的作用域中导入的含义 import 声明。你得到的最重要的东西是 Encoder 很多操作都需要 DataFrame S和 Dataset S.它还将 StringContext 你必须使用 $"column_name" 符号。

这个 implicits 成员是的实例 SQLImplicits ,您可以查看其源代码(用于版本2.3.1) here .