2016-03-29 81 views
3

我在我的Hadoop HDFS中有一個.jar文件(包含一個我想修改的Java項目),我想在Eclipse中打開它。如何訪問Hadoop HDFS中的文件?

當我輸入hdfs dfs -ls /user/...我可以看到.jar文件存在 - 但是,當我打開Eclipse並嘗試導入它時,我似乎無法在任何地方找到它。我在我的文件系統中看到一個hadoop/hdfs文件夾,它將我帶到2個文件夾; namenode和namesecondary - 這些都沒有我正在尋找的文件。

任何想法?我一直堅持這一點。預先感謝您的幫助。

回答

3

HDFS文件系統和本地文件系統都不同。

您可以從HDFS文件系統中的JAR文件在本地filesytem使用此命令複製到您的首選位置:

bin/hadoop fs -copyToLocal locationOfFileInHDFS locationWhereYouWantToCopyFileInYourFileSystem 

例如

bin/hadoop fs -copyToLocal file.jar /home/user/file.jar 

我希望這可以幫助你。

3

由於HDFS是虛擬存儲,因此它跨越羣集,因此只能看到文件系統中的元數據,無法看到實際數據。

嘗試從HDFS下載jar文件到本地文件系統並進行必要的修改。

使用其Web UI訪問HDFS。 打開你的瀏覽器並鍵入localhost:50070你可以看到HDFS的Web UI移到右側的實用程序選項卡上,點擊瀏覽文件系統,你可以看到HDFS中的文件列表。

按照以下步驟將文件下載到本地文件系統。

Open Browser-->localhost:50070-->Utilities-->Browse the file system-->Open your required file directory-->Click on the file(a pop up will open)-->Click on download 

該文件將被下載到您的本地文件系統,您可以進行所需的修改。

+0

除了UI,你可以也可以使用命令將HDFS中的文件獲取到本地文件系統。 hadoop fs -get/hdfs_path/local_fs_path –

0

您不能將存在於HDFS中的文件直接導入到Eclipse中。首先,您必須將文件從HDFS移到本地驅動器,然後只有您可以在任何實用程序中使用它。

FS -copyToLocal hdfsLocation localDirectoryPath

1

1)獲取從HDFS文件到本地系統

斌/ Hadoop的FS -get/HDFS /來源/路徑/ localfs /目的/路徑

2)你可以用這種方式進行管理:

新的Java項目 - > Java設置 - >來源 - >鏈接源(Source文件夾)。