2017-02-22 63 views

回答

1

引述對射流的InfoQ article

發送可運行到分區類似於單個DAG頂點的工作。 Jet的優勢在於能夠對頂點轉換數據進行讀取,生成不再屬於同一分區的項目,然後在發送到下游頂點時重新組合它們,以便它們再次正確分區。這對於任何類型的縮減地圖操作都非常重要,因爲縮小單元必須使用相同的按鍵觀察所有數據項。爲了最大限度地減少網絡流量,Jet可以首先減少本地成員生成的數據片,然後每個密鑰只發送一個項目給組合了部分結果的遠程成員。

並注意,這只是入口處理器當前覆蓋的相同或相似用例的上下文中的優勢。 Jet可以從任何來源獲取數據,並利用整個集羣的計算資源進行處理。

+0

任何可以觀察事件的方式,在IMap或Queue上說並觸發計算? – Manish

+0

在啓動Jet作業的對象上註冊事件偵聽器對我來說似乎是一種合理的方法。 –