星火foreachpartition連接改進

Question

我已經寫了火花工作，這確實低於操作

1. 從HDFS的文本文件中讀取數據。
2. 執行distinct（）調用來過濾重複項。
3. 做一個mapToPair階段，併產生pairRDD
4. 做一個reducebykey呼叫
5. 做分組元組聚集邏輯。

6. 現在請＃5

   這裏的foreach它

   1. 作出卡桑德拉分貝
   2. 呼叫創建一個AWS SNS和SQS客戶端連接
   3. 做一些JSON記錄格式。
   4. 發佈記錄SNS/SQS

當我運行這個工作它創建了三個階段的火花

第一階段 - 它需要近45秒。執行不同的 第二階段 - mapToPair和reducebykey =需要1.5分鐘

第三階段=需要19分鐘

我做了什麼

1. 我關掉卡桑德拉調用，這樣看DB打的原因 - 這是以更短的時間
我發現
2. 得罪一部分是創建SNS/SQS連接的foreach分區

其採取更多比整個工作時間的60％多

我在foreachPartition中創建了SNS/SQS連接，以減少連接。我們是否有更好的方法

我不能對駕駛員創建連接對象，因爲這些不是序列

我沒有使用5克執行人9號，executore核心15，司機2G內存，執行內存

我使用16芯64演出存儲器 簇大小1個主9從所有相同的結構 EMR部署火花1.6

Answer 1

聽起來好像將要設置正好一個每節點SNS/SQS連接，然後用它來處理每個節點上的所有數據。

我認爲foreachPartition在這裏是正確的想法，但您可能想事先合併RDD。這會在同一個節點上摺疊分區而不洗牌，並且可以避免啓動額外的SNS/SQS連接。

在這裏看到： https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD@coalesce(numPartitions:Int,shuffle:Boolean,partitionCoalescer:Option[org.apache.spark.rdd.PartitionCoalescer])(implicitord:Ordering[T]):org.apache.spark.rdd.RDD[T]