我們可以對TEZ中生成的DAG計劃實施自定義的DAG計劃嗎？如果可能，如何？

Question

而不是使用TEZ在Hive中生成的DAG計劃，我想使用由我創建的自定義DAG計劃。可能嗎？如果是，任何人都可以解釋嗎？

Answer 1

如果您使用Hive運行查詢，則無法使用自定義DAG。如果您使用API​​對Tez應用程序進行低級編程，則可以。見高級別文檔瀏覽：https://hortonworks.com/blog/expressing-data-processing-in-apache-tez/

事情是這樣的：

//Define DAG 
DAG dag = new DAG(); 
Vertex map1 = new Vertex(MapProcessor.class) 
and so on... 

見Apache項目的例子：https://git-wip-us.apache.org/repos/asf?p=tez.git;a=blob;f=tez-examples/src/main/java/org/apache/tez/examples/HashJoinExample.java