代码之家 › 专栏 › 技术社区 › Raghav salotra

使用SPARK更新mysql行

pyspark-sql pyspark mysql

Raghav salotra · 技术社区 · 6 年前

我的Spark作业将一天运行三次,因为unique key的一个列部分是'date'。如果一天运行一个作业不止一次,就会出现唯一键约束冲突错误。

Spark有没有办法删除已经存在的行并插入新的行?

我在网上搜索解决办法,但找不到任何解决办法。

2 回复 | 直到 4 年前

Peter Mortensen code4jhon 4 年前

您应该更新数据库端的表。我的建议是在MySQL数据库中创建一个临时表,Spark作业以覆盖模式将数据插入临时表。

使用临时表为表编写MySQL更新脚本。并在Spark作业之后添加一个作业链来运行MySQL更新脚本。

Peter Mortensen code4jhon 4 年前

假设 测向写入程序 UPSert 当前模式。

推荐文章

Badal Solanki · 如何在MySQL中对字符串进行算术运算?

1 年前

Saleh Mehdiyev · 我想重构我的Laravel代码以遵守SOLID原则

1 年前

hello_programmers · Mysql从其他表输出一列

1 年前

Community wiki · 这个MySQL语句出了什么问题?

1 年前

Community wiki · 优化从同一表中提取的多列的查询

1 年前

IJustSentYouAPackage · MySQL错误:引用的表中缺少约束的列[已关闭]

1 年前

Popo · Sql查询:返回数据库中不可用的where条件

1 年前

Roberts · DATE_FORMAT和STR_TO_DATE不工作

1 年前

Hamdan Nuramdani · 对账单中一周内不同表中的数据求和

1 年前

Kugelfisch · 用php为数据库加密数据

1 年前