pyspark计数行处于条件

count 不求和 真的 s、 它只统计非空值的数量。要计算 真的 值,则需要将条件转换为1/0,然后 sum :

import pyspark.sql.functions as F

cnt_cond = lambda cond: F.sum(F.when(cond, 1).otherwise(0))
test.groupBy('x').agg(
    cnt_cond(F.col('y') > 12453).alias('y_cnt'), 
    cnt_cond(F.col('z') > 230).alias('z_cnt')
).show()
+---+-----+-----+
|  x|y_cnt|z_cnt|
+---+-----+-----+
| bn|    0|    0|
| mb|    2|    2|
+---+-----+-----+

根据@Psidom答案,我的答案如下

from pyspark.sql.functions import col,when,count

test.groupBy("x").agg(
    count(when(col("y") > 12453, True)),
    count(when(col("z") > 230, True))
).show()

计数函数跳过 null 值,以便您可以尝试以下操作:

import pyspark.sql.functions as F

def count_with_condition(cond):
    return F.count(F.when(cond, True))