我正在執行多個PIG腳本說script1,script2,script3,script4。在這個腳本中,腳本1獨立執行,腳本2,3,4在腳本執行後並行執行。 我給大小7-8 GB的輸入文件。因此,在執行script1之後,我觀察到,不是並行執行腳本2,3,4,而是僅執行script2,因爲它正在消耗33-35個映射器。其他仍然在隊列中(意味着script3,4沒有得到映射器分配)。由於這太多的時間需要執行所有腳本。如何在Hadoop中將特定數量的映射器分配給多個作業?
那麼,我的想法是,如果我能夠映射器的限制設置爲每個腳本則可能是時間要求來執行無線本地環路少,因爲所有的腳本可能會映射器的分配。
那麼,有沒有辦法來分配映射器的特定數量的多個腳本?