spark-jdbc

2熱度

2回答

我使用的查詢，如下所示，以從MySQL獲取數據： var df = spark.read.format("jdbc") .option("url", "jdbc:mysql://10.0.0.192:3306/retail_db") .option("driver" ,"com.mysql.jdbc.Driver") .option("user", "retai

1熱度

1回答

如何調整大數據集上的映射/過濾（從兩個數據集交叉連接）？

星火2.2.0 我從SQL腳本轉換下面的代碼。它已經運行了兩個小時，並且仍在運行。甚至比SQL Server還要慢。有什麼不正確的做法？以下是該計劃，推table2所有執行人分區table1和分區分配給執行者。而table2/t2中的每一行都連接（交叉連接）table1的每個分區。因此，交叉連接結果的計算可以分佈/並行運行。（例如，假設我有16個執行者，對所有16個執行者保留一份t2的

0熱度

1回答

df.write.jdbc是否處理JDBC池連接？

你知道，如果下面的行可以處理JDBC池連接： df.write .mode("append") .jdbc(url, table, prop) 你有什麼想法？謝謝