火花：MatrixFactorizationModel.scala「recommendProductsForUsers」功能需要很長的時間才能完成

Question

我有9個節點羣集，每個節點都具有以下配置，

我想使用'recommendProductsForUsers'函數爲MatrixFactorizationModel中的所有用戶生成推薦。看起來需要很長時間才能完成（例如：對於1個月的數據，大約需要34小時左右）。是否由於矩陣多次迭代？

我該如何縮短執行時間？

這是我的火花提交配置：

火花提交--jars $ JAR_LOC --class com.collaborativefiltering.CustomerCollaborativeJob --driver內存5G --num執行人7 - 執行者核心2 - 執行者 - 內存20G - 主紗客戶端cust_rec/cust-rec.jar - 期限1月 - 出/ PATH - 銷售代碼 50 - 數量2 - 淨值0.25 - -topK 20

非常感謝您提前。

Answer 1

我在MatrixFactorizationModel中找到了RecommendedProductsForUsers運行多次迭代，所以計算時間很長。一旦我開始在雲中運行我的工作，我通過增加節點和火花執行器來測試工作。它實際上工作！我能夠在4小時內完成工作。