代码之家 › 专栏 › 技术社区 › noobie-php

TypeError:“Column”对象在连接两个表时不可调用Pysarpk

pyspark-dataframes pyspark-sql pyspark python

noobie-php · 技术社区 · 5 年前

因此,我试图2连接2个数据帧,这样做我得到以下错误。

我将数据作为简单的csv文件加载,下面是从csv加载的模式。

根

df1 = spark.read.format("csv").option("header", "true").load("collaborative/titles.csv", header=True, sep="|")
df2 = spark.read.format("csv").option("header", "true").load("collaborative/tags.csv", header=True, sep="|")
df1.printSchema()
df2.printSchema()
df1.alias("df1").join(df2.alias("df2"), col("df1.movie_id").equalTo(col("df2.movie_id"))).select(col("df2.*"))

1 回复 | 直到 5 年前

akuiper 5 年前

没有调用任何方法 equalTo 在列对象上。当你这么做的时候 col("df1.movie_id").equalTo 它假定您正在访问 movie_id 列对象不可调用 .

print(col('df1.movie_id').equalTo)
# Column<b'df1.movie_id[equalTo]'>

correct join syntax here .

df1 在连接之前,您不必为数据帧创建别名,然后选择:

df1.select('movie_id').join(df2, 'movie_id').show()

Swetha Shanmugam 5 年前

d1 = df1.alias("df1")
d2 = df2.alias("df2")
d1.join(d2,d1.movie_id == d2.movie_id).select('df2.*')

您可以参考pyspark连接示例 here .

推荐文章

July · 如何定义数字间隔,然后四舍五入

1 年前

Community wiki · 对象名称前的单下划线和双下划线的含义是什么?

1 年前

Brian Johnson · 为什么在Python中列出字典列表会引发TypeError?[已关闭]

1 年前

user026 · 如何根据特定窗口的平均值(行数)创建新列?

1 年前

Ashok Shrestha · 需要追踪特定的颜色线并获取坐标

1 年前

Nicote Ool · 在FastApi和Vue3中获得422

1 年前

NeoExceptCodeBad · 如果我有很多垂直线,我如何找到它们的边缘?

1 年前

Abdulaziz · 如何对集合内的列表进行排序[重复]

1 年前

user2743931 · 带有src目录的Python setup.py

1 年前

asmgx · 为什么合并数据帧不能按照python中的预期方式工作

1 年前