如何配置pig以通過WebHDFS訪問數據？

我是新來的hadoop所以請原諒我，如果這個問題是一個錯誤。我正在嘗試配置pig使用webhdfs來獲取數據。我不知道如何做到這一點我想： -如何配置pig以通過WebHDFS訪問數據？

Configuration configuration = new Configuration(); 
conf.set("fs.defaultFS","webhdfs://<uri>:50070"); 
properties.putAll(ConfigurationUtil.toProperties(conf));

我再傳給這個屬性對象（屬性）的性能在豬的主要文件中的對象。但是，這似乎並不奏效。任何對hdfs的訪問都會在沒有響應的情況下超時。有人能告訴我這是怎麼完成的嗎？

來源

2016-07-12 kurtgodel95

從哪裏跑豬？ LOAD命令從同一集羣中的HDFS獲取數據。 http://pig.apache.org/docs/r0.16.0/basic.html#load – HendPro12

我正試圖將豬連接到遠程集羣@ HendPro12 – kurtgodel95

經過多次試驗和錯誤，我想我可能已經解決了這個問題。順便提一下，問題不在於傳遞的配置（我可以在我的類路徑中保留一個core-site.xml，順便說一下上面的fs.defaultFS屬性）。問題是，我試圖運行有這樣的事情豬腳本文件： -

REGISTER 'hdfs://<uri>:9000/filename.jar'

當它應該是

REGISTER 'webhdfs://<uri>:50070/filename.jar'

不知道這是很明顯的，我浪費了你的時間。對不起。

來源

2016-07-13 06:10:28 kurtgodel95

如何配置pig以通過WebHDFS訪問數據？

回答

相關問題