2016-11-06 98 views
0

我已經寫了多個Spark驅動程序,它將HDFS中的一些數據加載到數據框,並在其上完成spark sql查詢並將結果再次保存在HDFS中。現在我需要提供一個長時間運行的java程序,以便通過post從Web應用程序(例如儀表板)接收請求及其某些參數(例如返回的頂級行的數量),並獲取並返回結果Web應用程序。我的Web應用程序位於Spark羣集之外的某處。簡而言之,我的目標是通過諸如POST之類的東西將請求及其伴隨的數據從Web應用程序發送到長期運行的Java程序。那麼它接收到請求並運行相應的Spark驅動程序(Spark應用程序)並返回結果,例如以JSON格式。Spark作爲Web服務器長時間運行的程序

有什麼解決方案來開發這個用例嗎? Livy是一個很好的選擇?如果你的回答是積極的,我該怎麼辦?

回答