0
我想以二進制安全方式連接Hadoop上的幾個大文件(可以說每個20-50GB的文件)。我可以編寫一個特定的加載程序/存儲來執行此操作,但是想知道是否有標準的方式來執行它(例如Hadoop FS CLI)?我甚至不關心內容訂單。如何在HDFS上以二進制安全連接文件
我想以二進制安全方式連接Hadoop上的幾個大文件(可以說每個20-50GB的文件)。我可以編寫一個特定的加載程序/存儲來執行此操作,但是想知道是否有標準的方式來執行它(例如Hadoop FS CLI)?我甚至不關心內容訂單。如何在HDFS上以二進制安全連接文件
「getmerge」是你在找什麼 - >http://hadoop.apache.org/docs/r0.19.0/hdfs_shell.html#getmerge
這樣可以將在本地,而不是遠程對HDFS。 – ddinchev