獲取異常WARN org.apache.hadoop.streaming.PipeMapRed：java.io.IOException：Broken pipe

Question

爲了某些調試目的，我在現有的工作R腳本中添加了print語句。

print("Hello") 

我在使用Hadoop流執行此代碼時遇到Broken管道異常。如果我再次刪除此打印效果，對我來說聽起來很奇怪！ 編輯Rscript時，我通過窗口gitbash使用vi。 可否請您提出解決方案。

Answer 1

如果您的Hadoop集羣由Linux節點組成，並且您提交了一個在Windows或窗口gitbash中編輯過的腳本，它將無法運行並引發誤導性異常。只需使用vi或emacs在Linux中編輯文件即可。或者使用do2unix命令將文件從dos格式轉換爲linux格式。 （這將刪除\ r \ n後面並用\ n替換）。