将注释放在多行语句之间(带换行符)

这不是 pyspark 问题,而是违反了python语法。

a, b, c = range(3)
a +\
# add b
b +\
# add c
c

这将导致:

    a +# add b
              ^
SyntaxError: invalid syntax

这个 \

解决此问题的一种方法是使用括号代替:

(a +
# add b
b +
# add c
c)

当给变量赋值时

# do a sum of 3 numbers
addition = (a +
            # add b
            b +
            # add c
            c)

或者在你的情况下:

# comment 1
df = (df.withColumn('explosion', explode(col('col1')))
    .filter(col('explosion')['sub_col1'] == 'some_string')
    # comment 2
    .withColumn('sub_col2', from_unixtime(col('explosion')['sub_col2']))
    # comment 3
    .withColumn('sub_col3', from_unixtime(col('explosion')['sub_col3'])))