如何將火花輸出存儲到rdbms數據庫？

Question

我最近開始使用spark，我有一個用例，我需要處理文件並存儲輸出或postgre數據庫。我能夠讀取文件並進行處理，我無法將處理的數據存儲到數據庫。有人可以請建議如何將輸出保存到分貝？

感謝,,,,

Answer 1

如果數據庫是所有工人節點訪問，你可以使用foreachPartition保存輸出。僞代碼：

rdd.foreachPartition { records => 
    // Connect to the database 
    records.foreach { r => 
    // Loop over records and save 
    } 
    // Close the connection to the db 
}