星火與MSSQL - Connection對象和JDBCRDD

Question

我想，一個應用程序 -

1. 從MSSQL服務器
2. 讀取數據提出這個數據到火花采用RDD
3. 將數據寫入到
4. 進行計算另一個數據庫使用JDBCRDD

我的問題是，在點沒有。 4關於使用JDBCRDD將數據寫入另一個數據庫，創建JDBCRDD時我們指定連接參數。

當我們創建JDBCRDD並且它分佈在集羣節點上時，連接對象是如何分佈的？ 是否爲Spark設置中的每個分區/節點分配了多個連接對象？

Answer 1

如果您傳遞給出連接對象的函數或工廠，那麼它將是每個分區一個。 如果您只使用一個JDBCRDD連接，那麼它將爲所有分區創建一個共享連接。從星火here