將zip文件從一臺服務器移動到hdfs？

Question

如果我使用flume或ssh，將文件從一個Linux機器移動到HDFS的最佳方法是什麼？

SSH命令：

cat kali.txt | ssh user@hadoopdatanode.com "hdfs dfs -put - /data/kali.txt" 

唯一的問題與SSH是我需要一提的密碼每次都需要檢查如何通過密碼無需驗證。

flume可以將文件從一臺服務器直接移動到HDFS嗎？

Answer 1

也許你可以讓passwordless-ssh，然後傳輸文件，而無需輸入密碼

Answer 2

也許你創建例如在Python腳本，做這項工作你

Answer 3

你可以在Linux中具有文件安裝Hadoop的客戶端。然後，您可以將數據直接從該盒子「輸入」到hadoop羣集。