spark如何實時提供Web服務？

-1

我希望Spark應用程序是一個長時間運行的應用程序，它在完成計算並偵聽HTTP請求並返回計算的數據後不會退出。

我該如何開箱即用？現在，我只能寫一個while循環來確保程序繼續。

2016-03-15 weiwang

檢查https://github.com/spark-jobserver/spark-jobserver – banjara

@shekhar並不完全是他想要的，我認爲他正在尋找一種長期運行的工作，它也可以作爲一個服務器（類似Spark Streaming應用程序，它也有一個HTTP端點）。 –

請提供更多關於你準備做什麼，你的目標是什麼，以及你的問題是什麼的信息。另見[問]。 – morxa

Spark不具備此類功能。 Spark流通過awaitTermination()方法，您可以撥打StreamingContext。然後，您只需在Spark應用程序中實現一個HTTP端點。

使用Spark Streaming功能將是最簡單的，您仍然可以讓Spark作業使用常規RDD而不是DStreams，但您可以使用StreamingContext僅用於awaitTermination。

如果你不想使用星火仍然流你也許可以看看他們使用鎖在這裏是如何實現ContextWaiter#waitForStopOrError()

2016-03-15 06:01:10

我將嘗試一個HTTP端點。 – weiwang

回答