代码之家 › 专栏 › 技术社区 › Raghav salotra

如何使用pyspark在mysql中保存数据帧

pyspark

Raghav salotra · 技术社区 · 6 年前

我对apachespark还不熟悉。我有一个用例,我必须在MySQL中保存数据帧数据。我得到了下面的代码来做同样的事情:

data_frame.write.format('jdbc').options(
    url='URI',
    driver='com.mysql.jdbc.Driver',
    dbtable=table_name,
    user=user_name,
    password='your_password').mode('append').save()

    File "/usr/local/Cellar/apache-spark/2.3.1/libexec/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o207.save.
: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

我可能错过了一些细节。我怎样才能解决这个问题?

1 回复 | 直到 4 年前

Peter Mortensen icecrime 4 年前

错误描述清楚地表明它无法定位JDBC驱动程序类。您必须包含com.mysql.jdbc.Driver的JAR文件,使用

pyspark --jars  <jar-file-location>

看到这个问题了吗- How to add third-party Java JAR files for use in PySpark

推荐文章

Leonard · Pyspark:JSON到Pyspark数据帧

1 年前

Fran Arenas · Pyspark collect()方法在Pycharm或控制台中执行测试时给出了不同的顺序

2 年前

titutubs · 有没有一种更有效的方法来为Databricks SQL中的bin值编写代码?

2 年前

markwatson · AWS Glue:如何在输出中添加具有源文件名的列?

6 年前

juamd · 顺序(k,<元组>)RDD

6 年前

Gaurav Gupta · 如何加载多行记录的CSV文件?

6 年前

Jared · 如何在本地模式下运行的pyspark中读取S3?

6 年前

ka_boom · 在pyspark中链接多个groupBy

6 年前

ds_user · 在apache spark中复制记录计数

6 年前

ds_user · 结合类型和子类型的Apache Spark组

6 年前