2017-03-25 50 views
0

我正在學習Spark,並試圖構建一個簡單的服務,該服務應該從Spark獲得計算結果並將其返回給用戶。 Spark網站上有很多關於如何處理流數據的好例子。但是我找不到有關如何從中檢索計算結果的文檔。如何從Spark中獲取計算結果?

例如,我有一個卡夫卡隊列和一個Spark作業like來計算單詞。如何將結果顯示給最終用戶?理想情況下,我想要有一個寧靜的服務,它服務於/words-count HTTP端點。但是如何從該服務調用Spark尚不清楚。

任何對文檔或代碼示例的引用都會很棒。謝謝。

回答

1

一般而言,如果您希望在用戶可用時不斷向用戶推送結果,則需要使用流API。有一個foreachRDD,您可以在其中提供一個採用RDD併發布其結果的函數。每當流更新結果時,都會調用該函數。

dstream.foreachRDD(rdd => publish(rdd)) 
相關問題