AMPLab鯊魚在Apache火花

Question

作爲每文檔，

「阿帕奇Spark是用於大規模數據處理的快速且一般引擎」。 「

」Shark是一個用於Hadoop數據的開源分佈式SQL查詢引擎。「

而鯊魚使用Spark作爲依賴。

我的問題是，Spark是否僅僅將HiveQL解析爲Spark作業，或者如果我們使用Shark對分析查詢進行快速響應，它會做什麼好事？

Answer 1

是的，Shark使用與Hive相同的想法，但將HiveQL轉換爲Spark作業而不是MapReduce作業。請閱讀this文件的第13-14頁，瞭解這兩者之間的架構差異。