如何並行執行多個PIG腳本？

Question

我有多個PIG腳本，目前我正在使用命令pig -x mapreduce /path/to/Script/Script1.pig & /path/to/Script/Script2.pig & &/path/to/Script/Script3.pig

現在我正在尋找並行執行這些腳本來提高性能，因爲它們都是相互獨立的。我試圖尋找它，但沒有得到確切的結果。

那麼我可以通過哪種方式並行執行所有PIG腳本？

Answer 1

您應該能夠使用Apache Oozie的http://oozie.apache.org/

Answer 2

#!/bin/bash 

pig -x mapreduce /path/to/Script/Script1.pig & 
pig -x mapreduce /path/to/Script/Script2.pig & 
pig -x mapreduce /path/to/Script/Script3.pig & 

wait 
echo "Done!"