如何在成功時保留PIG作業日誌文件。

我注意到，當運行PIG腳本時出現錯誤時，會生成並保存日誌。但是當沒有錯誤時，日誌文件被刪除。即使作業成功，是否有辦法保留日誌文件？如何在成功時保留PIG作業日誌文件。

2012-08-16 kee

默認情況下，錯誤（例如腳本解析錯誤）記錄到pig.logfile，可以在$PIG_HOME/conf/pig.properties中設置。如果您也想記錄狀態消息，則準備一個有效的log4j.properties文件並將其設置在log4jconf屬性中。

如：重命名log4j.properties.template在$ PIG_HOME/conf目錄log4j.properties並設置如下：

log4j.logger.org.apache.pig=info, B 

# ***** A is set to be a ConsoleAppender. 
#log4j.appender.A=org.apache.log4j.ConsoleAppender 
# ***** A uses PatternLayout. 
#log4j.appender.A.layout=org.apache.log4j.PatternLayout 
#log4j.appender.A.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n 

# ***** B is set to be a FileAppender. 
log4j.appender.B=org.apache.log4j.FileAppender 
#log4j.appender.B.File=/home/user/pig-distrib/logs/pig_success.log 
log4j.appender.B.File=/home/user/pig-distrib/logs/pig.log 
log4j.appender.B.layout=org.apache.log4j.PatternLayout 
log4j.appender.B.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n 
log4j.appender.B.Append=true

當使用豬v0.10.0（r1328203），我發現，一個成功的豬任務不會將作業的歷史日誌寫入hdfs上的輸出目錄。
（hadoop.job.history.user.location=${mapred.output.dir}/_logs/history/）

如果要通過再設置你的豬腳本mapred.output.dir這樣一切手段有這些歷史：一旦log4j.properties文件準備

set mapred.output.dir '/user/hadoop/test/output';

來源

2012-08-22 15:29:32

我從來沒有對這些變化是否影響產生的Hadoop作業，或者運行工作任務的地方豬種解釋清楚。 – 2013-09-14 02:11:26

，打開pig.properties文件，取消以下內容：

log4jconf = $ PIG_HOME/conf目錄/ log4j.properties

來源

2017-01-29 04:50:27

碰碰舊線

簡單的方法是重定向輸出

pig -f pig-file 2> xyz.log -- this will give just the logs 
pig -f pigfile &> xyz.log -- logs + stdout(dumps)

來源

2017-02-11 06:04:24 noob333

如何在成功時保留PIG作業日誌文件。

回答

相關問題