我正在關注Hadoop上的Udacity's course,它指示使用命令hadoop fs -ls
列出文件。但是在運行Ubuntu的機器上,它將列出當前工作目錄中的文件。我究竟做錯了什麼?「hadoop fs -ls」列出當前工作目錄中的文件
which hadoop
命令給出的輸出: /home/usrname/hadoop-2.5.1//hadoop
是在路徑中的雙斜槓這個問題的原因是什麼?
我正在關注Hadoop上的Udacity's course,它指示使用命令hadoop fs -ls
列出文件。但是在運行Ubuntu的機器上,它將列出當前工作目錄中的文件。我究竟做錯了什麼?「hadoop fs -ls」列出當前工作目錄中的文件
which hadoop
命令給出的輸出: /home/usrname/hadoop-2.5.1//hadoop
是在路徑中的雙斜槓這個問題的原因是什麼?
您的文件系統必須指向本地文件系統。只需修改配置以將其指向HDFS並重新啓動進程即可。
入住此配置:
<property>
<name>fs.default.name</name>
<value>hdfs://<IP>:<Port></value>
</property>
您的客戶端很可能沒有選擇正確的hadoop配置文件,這就是爲什麼它默認爲您的本地文件系統。
將HADOOP_CONF_DIR設置爲hadoop配置文件的目錄。同時驗證在core-site.xml中正確指定了fs.defaultFS。
能不能請你運行下面的命令?請檢查您的core-site.xml中提供的Ashish建議的配置後,請執行此操作。
Hadoop的DFS -ls HDFS:// IP:PORT/
感謝 Arani
您的文件將作爲HDFS完全一樣? – SMA
@almasshaikh:我通過從不同目錄嘗試命令排除了這種可能性。 – Tanay
粘貼以下命令的輸出:ls; hadoop fs -ls;別名hadoop; hadoop – SMA