在函数中定义spark转换并在bigdata中返回新的数据帧是否安全?

没问题,也不会影响你的表现。Spark不会直接运行代码。它根据您定义的转换生成一个计划。如果您在函数中执行这些操作或复制代码,它们将是相同的。

如果我理解的很好,可以定义一个将多个方法分组的方法,您可能希望对 andThen 如果需要应用许多方法,则使用清除代码的方法

https://www.scala-lang.org/api/current/scala/Function1.html

你可以使用 .transform() 方法。

它存在于具有以下签名的数据帧API中:

def transform[U](t: (DataFrame) ⇒ DataFrame): DataFrame`

在数据集API中(数据帧是数据集[row]的别名,从2.2.0开始:

def transform[U](t: (Dataset[T]) ⇒ Dataset[U]): Dataset[U]

因此,您可以定义一个方法:

def mytransformation(inputDF:DataFrame):DataFrame = { 
  //transformationgo there 
  // val ouputDF = inputDF.map(...).filter(...) 
  outputDF 
}

或函数:

val mytransformation:DataFrame => DataFrame = inputDF => {  
  // val ouputDF = inputDF.map(...).filter(...)
  outputDF 
}

然后可以将myTransformation作为参数传递给transform方法