如何將文件從遠程服務器複製到hdfs位置

我想要將文件從使用sftp的遠程服務器直接複製到hdfs位置，而無需將文件複製到本地。 hdfs位置是一個安全的羣集。請建議這是否可行，以及如何在這種情況下進行。另外我想知道是否有任何其他方式連接和複製除了SFTP。如何將文件從遠程服務器複製到hdfs位置

來源

2014-09-04 user3839396

我認爲最方便的方法（假設您的遠程機器能夠連接到hadoop集羣）是讓遠程機器充當HDFS客戶端。只是ssh到這臺機器，安裝Hadoop發行版，適當的配置，然後運行：

hadoop fs -put /local/path /hdfs/path

來源

2014-09-04 08:31:57

遠程服務器屬於不同的供應商和安裝Hadoop發行版的似乎並不可行。你能提出任何其他的解決方法嗎？是複製到本地的唯一選項？ – user3839396 2014-09-04 09:00:54

爲了將這些文件保存到HDFS中，您需要將它們提供給某些HDFS客戶端（您可以運行'hadoop fs -put ...'的某些機器）。爲了在特定的機器上實現這一點，如果你沒有root權限，應該把所有hadoop的東西放在你的主目錄下並從那裏運行。有沒有守護進程運行，你只需要那些罐子，配置文件和腳本在本地文件系統。 – 2014-09-04 09:09:06

如何將文件從遠程服務器複製到hdfs位置

回答

相關問題