正在执行pyspark df。文件中的join命令

如果知道存在哪些数据帧,可以使用 if/else :

finalDF = df1
if df2_exists:
    finalDF = finalDF.join(df2, 'key2', 'left_outer')
if df3_exists:
    finalDF = finalDF.join(df3, 'key3')
if df4_exists:
    finalDF = finalDF.join(df4, 'key4')
if df5_exists:
    finalDF = finalDF.join(df5, 'key5')

这并不意味着需要多个步骤,因为spark很懒惰。如果您查看 finalDF.explain() ,您将看到它将并行执行所有连接,而不是串行执行所有连接。