並行複製到HDFS

Question

什麼是從NFS掛載實現並行複製到hadoop的最佳和快速的方式？ 我們有一個大量文件的掛載，我們需要將它複製到hdfs中。

一些選項：

1. 運行copyFromLocal在多線程的方式
2. 使用DistCp使用在一個孤立的方式。
3. 我可以寫一張地圖唯一的作業來複制嗎？

問候， JD

Answer 1

我認爲最關鍵的問題是什麼是對NFS鏈接的源端？如果它是一臺NAS，那麼在多臺客戶機同時運行copyFromLocal（每臺機器都有一臺）的情況下可能會更好。即使是高性能的NAS，當您從同一個客戶端讀取5到10個以上的磁盤時，也會不高興。我將建模以下（帶copyFromLocal全部）：

• NAS - > 1個客戶端 - > 5，10，50，100個並行進程
• NAS - > 5客戶 - > 5，10，50，100並行進程

我肯定會避免M/R，因爲進程啓動成本太高，甚至distcp也不會如此，因爲您無法控制源NAS的命中率（這將是你的瓶頸）。