1
我有一個oozie工作流程。我正在提交所有配置單元操作oozie中Hive操作的作業隊列
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
但是對於少數配置單元操作,啓動的作業不在指定的隊列中;它在默認隊列中被調用。
請告訴我這個行爲和解決方案背後的原因。
我有一個oozie工作流程。我正在提交所有配置單元操作oozie中Hive操作的作業隊列
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
但是對於少數配置單元操作,啓動的作業不在指定的隊列中;它在默認隊列中被調用。
請告訴我這個行爲和解決方案背後的原因。
A. Oozie細節 Oozie將「常規」Hadoop屬性傳播到「常規」MapReduce操作。
但對於Oozie在YARN中運行單個Mapper任務的其他類型的Action(Shell,Hive,Java等),它並不認爲它是一個真正的MapReduce作業。因此,它使用不同組的無證物業總是前綴與oozie.launcher.
例如,看看that post。
所以你的情況的實際屬性設置將oozie.launcher.mapred.job.queue.name
B. TEZ細節從HortonWorks documentation摘錄:
例如,在蜂巢可以使用
tez.queue.name
財產 hive-site.xml指定用於Hive-on-Tez作業的隊列。爲了 分配蜂房上TEZ工作用「工程」隊列,添加 以下屬性蜂巢-site.xml中:
<property> <name>tez.queue.name</name> <value>engineering</value> </property>
要清楚:「常規」 Hadoop的性能會傳播到由Hive啓動的任何MapReduce作業。但主Hive會話和任何以本地模式運行的作業將使用「啓動器」屬性(或默認的道具失敗) –
謝謝你的答案參孫!但即使在設置'oozie.launcher.mapred.job.queue.name'之後,作業仍在默認隊列中運行。其實,我正在使用TEZ作爲執行引擎。該物業是否未申請TEZ工作? – Anup
好點。編輯答案。 –