代码之家 › 专栏 › 技术社区 › Surender Raja

对case语句的pyspark查询引发错误

apache-spark-sql pyspark

Surender Raja · 技术社区 · 1 年前

我正在运行以下pyspark查询

它抛出以下错误。我希望动态值通过varaibale-in-to-case语句传递

 data1 = 'HI'
 data2 = 'HELLO'

 spark.sql(f""" select  Initials,
                case when Initials  in ('AM','NJ') then {data1} else {data2} end as s  
                from omegawriter""").display()

我得到以下错误

  A column or function parameter with name `HI` cannot be resolved.
  Project [Initials#69, CASE WHEN Initials#69 IN (AM,NJ) THEN 'HI ELSE 'HELLO END AS s#57]

我不明白这个查询出了什么问题。有人能帮帮我吗

1 回复 | 直到 1 年前

è¿è¿æ 1 年前

需要引用纯文本值。

 spark.sql(f""" select  Initials,
                case when Initials  in ('AM','NJ') then '{data1}' else '{data2}' end as s  
                from omegawriter""").display()

推荐文章

Leonard · Pyspark:JSON到Pyspark数据帧

1 年前

Fran Arenas · Pyspark collect()方法在Pycharm或控制台中执行测试时给出了不同的顺序

2 年前

titutubs · 有没有一种更有效的方法来为Databricks SQL中的bin值编写代码?

2 年前

markwatson · AWS Glue:如何在输出中添加具有源文件名的列?

6 年前

juamd · 顺序(k,<元组>)RDD

6 年前

Gaurav Gupta · 如何加载多行记录的CSV文件?

6 年前

Jared · 如何在本地模式下运行的pyspark中读取S3?

6 年前

ka_boom · 在pyspark中链接多个groupBy

6 年前

ds_user · 在apache spark中复制记录计数

6 年前

ds_user · 结合类型和子类型的Apache Spark组

6 年前