在pyspark中获取数据帧中的值

使用索引0从Row对象获取第一条记录,并使用索引“Count”获取值

from pyspark.sql.functions import col
data.groupby("card_bank", "failed").count().filter(col("failed") == "true").collect()[0]["count"]

你需要一个 row 从序列(循环或映射函数的WITHER),然后 row.getInt(2) 根据 https://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/Row.html .

尝试从Spark数据框中选择值:

df =data.groupBy("card_bank", "failed").count().filter(data["failed"] == "true").collect()
value = df.select("count").as[int].collect()

这里,值是一个列表。