爲什麼有人會在Tez上運行Spark/Flink？ 。

Question

在Tez paper從Saha等，的Hadoop 2與TEZ以下模塊化架構被示出：

爲什麼會有人上TEZ運行火花/弗林克？

有什麼優勢？更好地利用YARN？

Answer 1

如果我理解正確，在tez上運行spark可以理論上導致更好的DAG。例如可以將其應用於機器學習迭代。

相關段落介紹如下。

我們能夠在編譯後的Spark DAG編碼成TEZ DAG他在這方面 沒有運行星火引擎服務的紗線集羣成功運行它。用戶定義的Spark代碼是 ，該代碼被串行化爲Tez處理器有效載荷，並注入到反序列化和執行用戶代碼的Spark處理器中。這個 允許未經修改的Spark程序使用Spark自己的 運行時運算符在YARN上運行... Tez會話還可以通過將每個迭代DAG提交到共享的Tez會話來有效地運行Spark機器學習迭代 。這項工作是實驗性質的原型，而不是 星火項目

話雖這麼說的部分，看來這個組合從未被實驗環境外實現的，所以即使有對TEZ與工具結合體面的理由像Spark一樣，目前這不會幫助任何項目。另外，我個人的期望是，除非你有非常特定的工作量，否則如果Tez DAG明顯優於正常的Spark DAG，我會感到驚訝。