PySpark沒有找到適合jdbc的驅動程序：mysql：// dbhost

Question

我正在嘗試將我的數據框寫入mysql表。當我嘗試寫作時，我得到No suitable driver found for jdbc:mysql://dbhost。

作爲預處理的一部分，我從同一個數據庫中的其他表中讀取並且沒有問題。我可以完成全部運行並將行保存到實木複合地板文件，因此它絕對是從MySQL數據庫讀取的。

我使用提交：

spark-submit --conf spark.executor.extraClassPath=/home/user/Downloads/mysql-connector-java-5.1.35-bin.jar --driver-class-path /home/user/Downloads/mysql-connector-java-5.1.35-bin.jar --jars /home/user/Downloads/mysql-connector-java-5.1.35-bin.jar main.py

，我使用寫：

df.write.jdbc(url="jdbc:mysql://dbhost/dbname", table="tablename", mode="append", properties={"user":"dbuser", "password": "s3cret"})

Answer 1

這是一個與類加載器相關的錯誤。這是它的門票：https://issues.apache.org/jira/browse/SPARK-8463，這是它的拉動請求：https://github.com/apache/spark/pull/6900。

解決方法是將mysql-connector-java-5.1.35-bin.jar複製到與驅動程序相同位置的每臺計算機上。

Answer 2

看來你可能已經引發了星火SQL的錯誤。似乎有一個修復，提交是e991255e7203a0f7080efbd71f57574f46076711（請參閱https://mail-archives.apache.org/mod_mbox/spark-commits/201505.mbox/%3C6ec5793fb810447388384f3ac03ca670@git.apache.org%3E），並將問題描述爲「問題出在無法訪問由Spark ClassLoader加載的驅動程序的java.sql.DriverManager類中。」可能最簡單的解決方案是嘗試從主服務器上獲得最新版本，或者沒有通過挑選提交到您的分支中。