我应该将nullable设置为false还是true?

nullable表示相关列是否可以为空。 它确保特定列不能为空(如果当Nullable属性设置为true时为空,Spark将在数据帧上的第一个操作期间启动java.lang.RuntimeException)。

这里有一个示例,我们将第一行的值设置为空,而此列的Nullable属性设置为假:

import org.apache.spark.sql._
import org.apache.spark.sql.types._
val data = Seq(
  Row(null, "a"),
  Row(5, "z")
)

val schema = StructType(
 List(
   StructField("num", IntegerType, false),
   StructField("letter", StringType, true)
 )
)

val df = spark.createDataFrame(
 spark.sparkContext.parallelize(data),
 schema
)
df.show()

然后会出现以下异常,即列num不能有空值:

java.lang.RuntimeException: Error while encoding: java.lang.RuntimeException: The 0th field 'num' of input row cannot be null.

ps:默认情况下,可以为空的值设置为true,不必仅在希望它为false时才设置它。

https://github.com/apache/spark/blob/3d5c61e5fd24f07302e39b5d61294da79aa0c2f9/sql/catalyst/src/main/scala/org/apache/spark/sql/types/StructField.scala#L39

我希望它有帮助。