Hive查詢在Spark 2.0中運行非常緩慢

Question

我有一個簡單的HIVE查詢，我們有一個用例，我們將並行運行多個HIVE查詢，在我們的例子中它是16（我們機器中的核心數量，使用scala PAR陣列）。在Spark 1.6中，它在10秒內執行，但在Spark 2.0中，相同的查詢需要5分鐘。

「從EMP選擇*爲e加入部門爲d的o.dept_id = t.dept_id其中o.dept_id = 100」

有人可以幫助我，這可能是錯誤的。爲什麼它這麼長時間？

方面，周杰倫

Answer 1

對於一個查詢，只需幾秒鐘在1.6採取分鐘2.0通常是有關任務的錯誤，你可以看到它在日誌文件中，你可能會看到類似「失落的任務。在..「

所以當任務丟失時，運行時會嘗試s向另一個執行者提供相同的任務配置。

除此之外，Spark 2.0必須更快。

也可以檢查您的執行器和主設備的內存配置。

希望它有幫助。