-1
我有一套我廣播的大變量。這些變量是從集羣數據庫加載的。是否可以通過工作節點從數據庫分配負載，然後讓每個節點都將其特定變量廣播到所有節點以供後續的映射操作使用？Spark worker節點廣播變量可能嗎？
謝謝！
A
回答
0
好的，所以答案似乎是否定的。
調用sc.broadcast（someRDD）會導致錯誤。你必須首先收集（）回驅動程序。
0
廣播變量通常傳遞給工作人員，但我可以告訴你我在python中做了類似的情況。
如果您知道總行數，您可以嘗試創建該長度的RDD，然後對其執行映射操作（將分配給工作人員）。在地圖上，工作人員正在運行一個函數來獲取一些數據（不知道如何讓他們獲得不同的數據）。
每個工作人員都會通過撥打電話來檢索所需的數據。然後，您可以執行collectAsMap（）來獲取字典並將其廣播給所有工作人員。
但請記住，您需要在每位工作人員上進行客戶端請求的所有軟件依賴性。您還需要牢記套接字使用情況。我只是做了類似的查詢API，並沒有看到套接字的增加，儘管我正在定期發送HTTP請求。不確定....
相關問題
- 1. Spark流和可變廣播變量
- 2. 廣播Spark上下文有可能嗎？
- 3. MPI_BCAST會廣播主節點變量並更改從節點變量嗎？
- 4. 訪問Spark java中的廣播變量
- 5. Apache Spark廣播變量是類型廣播？不是RDD？
- 6. 在Apache Spark中廣播小變量會值得嗎？
- 7. Spark Worker節點自動停止
- 8. 是否有可能從Spark-streaming檢查點恢復廣播值
- 9. Spark 1.5.2：Worker無法將廣播持久化到磁盤
- 10. 從Spark Worker訪問環境變量
- 11. Spark ALS Model廣播
- 12. Numpy「double」 - 廣播 - 有可能嗎？
- 13. 具有兩個主節點的Spark羣集。可能嗎？
- 14. 如何在Spark中從堆中刪除/處理廣播變量？
- 15. 使用SparkSession創建廣播變量？ Spark 2.0
- 16. 如何在spark 2（java）中創建廣播變量？
- 17. Apache Spark廣播變量給出mappartitions的錯誤
- 18. 如何檢查廣播變量在Spark 2.0中是否有效？
- 19. Spark程序中的廣播變量發佈
- 20. 訪問不同類別的Spark廣播變量
- 21. 如何在範圍之外引用Spark廣播變量
- 22. 如何在Spark Streaming映射函數中廣播變量？
- 23. Spark 1.6.3 rdd.foreach用廣播變量花費太多時間
- 24. 如何從Java String數組創建Spark廣播變量？
- 25. Spark上下文廣播變量拋出java.io.NotSerializableException，儘管其Serializable
- 26. 我們是否需要在所有數據節點上安裝spark worker節點？
- 27. 我們可以運行kubectl form worker/minion節點嗎？
- 28. 廣播變量在星火
- 29. tensorflow變量分配廣播
- 30. 是否有可能使用spark-submit -package廣播Tensorflow庫
對於來自數據庫的數據創建分區函數非常簡單，以確保每個工作人員只獲取唯一的子集。有一個驅動程序進程單線程從數據庫中提取所有數據只是爲了將數據廣播到集羣上似乎很愚蠢。爲什麼不讓集羣完成這項工作？ – ThatDataGuy