使用火花作業服務器

Question

我是新來的火花。 我想知道如何使用ooyala和Livy來激發作業服務器。 是spark代碼無法直接與HDFS通信。 我們是否需要像webservice這樣的媒介來發送和接收數據。

感謝和問候，

Answer 1

Ooyala公司和李維

持續星火語境還是不幫您運行的火花像HTTP的服務，您可以要求直接創建或從運行的火花工作一個http調用，而不是像命令那樣運行，或者比如運行cronjob。

是火花代碼不能與HDFS直接通信

號它可以直接與HDFS通信。

我們是否需要像webservice這樣的媒介來發送和接收數據。

其實ooyala和Livy他們返回結果由json像你在API調用。 所以它取決於你建立一個媒體或不。