Apache Spark：在執行期間減少內核數量

Question

有沒有辦法在運行某個部分期間減少內核/執行程序的數量？我們不想超出最終數據存儲區，但需要更多的內核來有效地執行計算工作。

基本上

// want n cores here 
val eventJsonRdd: RDD[(String,(Event, Option[Article]))] = eventGeoRdd.leftOuterJoin(articlesRdd) 

val toSave = eventJsonRdd.map(processEventsAndArticlesJson) 

// want two cores here 
toSave.saveToEs("apollobit/events") 

Answer 1

你可以試試：

toSave.repartition(2).saveTo... 

雖然這會帶來潛在的昂貴的洗牌。

如果您的商店支持批量更新，您可以撥打foreachPartition並使用大量數據而不是一次執行某項操作，從而獲得更好的性能。