本地程序如何可以訪問HDFS目錄？

Question

本地程序如何可以訪問HDFS目錄？我在我的所有Hadoop節點上都安裝了本地程序。本地程序從終端運行，因此我在我的map reduce程序中使用了Java的Runtime Execution API。

我只是想知道我的本地程序如何訪問HDFS目錄。請注意，將文件複製到本地FS不是我必須實現的解決方案。因此，需要像HDFS那樣訪問文件。

P.S.本地程序的Snort和HDFS文件分裂PCAP文件

Answer 1

對於Java程序，你可以使用generic FileSystem interface訪問HDFS。

Hadoop的org.apache.hadoop.fs.FileSystem是通用類來訪問 和管理HDFS文件/坐落在分佈式環境中的目錄。
Hadoop HDFS JAVA API