如何在自定义PySpark ML管道\u transform()方法中创建Spark数据帧?

在Spark的 ML Pipelines 变压器的 transform() 方法需要火花 DataFrame 并返回 数据帧 . 我的自定义 _transform() 方法使用传入的数据帧在处理RDD之前创建RDD。这意味着在从返回之前,必须将算法的结果转换回数据帧 _转换() .

那么,我应该如何从RDD内部创建数据帧呢 _转换() ?

通常我会使用 SparkSession.createDataFrame() . 但这意味着要通过 SparkSession 例子 spark ,根据我的习惯 Transformer 不知何故(或 SqlContext 对象)。而这反过来又可以 other problems 例如,尝试将变压器用作ML管道中的阶段时。