Spark有多少個Shark服務器？

Question

我是Spark/Shark的新手，並與三名Spark工作人員組成了一個羣組。我開始在同一臺服務器上安裝Shark，但我得出的結論是，也許這不是必需的，只需要一臺Shark服務器 - 我無法在文檔中找到任何與此相關的內容。我是否需要一臺Shark服務器，因爲Spark/Hive將會進行大量的升級，還是需要將它分發到Spark所在的所有服務器？

Answer 1

Shark是一個Spark應用程序。它就像一個WordCount或Spark Shell。您需要在要發送查詢的客戶端計算機上安裝它。

如果工人機器上沒有Shark JARS，則必須將它們附加到Spark上下文中。

鯊魚服務器的工作原理有點像unix系統中的'屏幕'。在這種情況下，Shark服務器是Spark中的一個應用程序。您可以使用Shark控制檯連接到Shark服務器，發送查詢，並由您代表Spark上的Shark服務器執行查詢。

Answer 2

假設鯊魚是指ThriftServer，那麼你只需要一個鯊魚每個（Spark）集羣。

因爲ThriftServer已經被引入Spark核心本身，所以它甚至延續到了Spark 1.0.1，因爲Shark已經退役。