SparkSQL使用Python從MySQL數據庫表中讀取

Question

我在MySQL中有一個'user'表。我想把它讀到我的Spark SQL程序中。我如何使用Python將表格從MySQL讀取到Apache Spark的SparkSQL模塊？有沒有可用於此任務的連接器？ 謝謝。

Answer 1

有一個similar question answered。開始pyspark這樣

./bin/pyspark --packages mysql:mysql-connector-java:5.1.38 

然後只需運行

sqlContext.read.format("jdbc").options(
url ="jdbc:mysql://localhost/mysql", 
driver="com.mysql.jdbc.Driver", 
dbtable="user", 
user="root", 
password="" 
).load().take(10) 

這很可能只是工作。但這取決於你的mysql設置，所以如果它不嘗試更改密碼，用戶名，db-url和其他設置。