直接從HDFS讀取文件

Question

有沒有辦法直接使用HDFS路徑從HDFS讀取任何文件格式，而不必從HDFS本地讀取文件並讀取它。

Answer 1

你必須拉整個文件。無論您使用的是cat還是text命令，整個文件仍將流式傳輸到您的shell。命令結束時只剩下文件的剩餘部分。所以，如果你計劃幾次檢查文件，最好get它

作爲一個hdfs客戶端，你必須聯繫namenode獲取特定文件的所有塊位置。

Answer 2

可以與HDFS DFS嘗試-cat

用法：HDFS DFS -cat [-ignoreCrc] URI [URI ...]

hdfs dfs -cat /your/path 

Answer 3

您可以在HDFS使用cat命令來讀取正規文本文件。

hdfs dfs -cat /path/to/file.csv 

讀取壓縮文件一樣gz, bz2等，你可以使用：

hdfs dfs -text /path/to/file.gz 

這些都是Hadoop的原生支持使用FsShell comamnds兩種讀法。對於其他複雜文件類型，您將不得不使用更復雜的方式，例如Java程序或其他類似的東西。

Answer 4

HDFS DFS - 貓/路徑或Hadoop的FS - 貓/路徑