0
我寫了一個Pig腳本,並希望在Hadoop集羣上執行它。我如何測量總處理時間?是否有任何命令可以從開始到結束處理時間?豬的性能測量
我寫了一個Pig腳本,並希望在Hadoop集羣上執行它。我如何測量總處理時間?是否有任何命令可以從開始到結束處理時間?豬的性能測量
編輯:增加了time
替代。
要知道需要多長時間(以秒爲單位):
time pig <options>
另一種方式來做到這一點:
d1=$(date +%s)
pig <options>
d2=$(date +%s)
echo "$d2 - $d1" | bc
或者,在一個單行:
d1=$(date +%s) ; pig <options> ; d2=$(date +%s) ; echo "$d2 - $d1" | bc
你也可以只看一下豬的產量。當您運行在命令行腳本豬,對輸出的末尾,你會看到:
HadoopVersion PigVersion UserId StartedAt FinishedAt Features
...
然後,您可以減去FinishedAt - StartedAt
。
你的第二個方法是我會做的,但是對於第一個,爲什麼不使用'time'? –
@WinnieNicklaus你說得對,就是這樣做。我剛剛給我的答案加了'時間'。 – cabad