1
我想將zip文件中的太多小文件（例如200k文件）從本地機器傳輸到HDFS。當我解壓縮zip文件並將文件傳輸到HDFS時，需要很長時間。無論如何，我可以將原始zip文件轉換爲HDFS並將其解壓縮到那裏？將許多小文件傳輸到Hadoop文件系統
A
回答
0
如果你的文件是GB的，那麼這個命令肯定有助於避免空間不足的錯誤，因爲不需要在本地文件系統上解壓文件。
將命令放在hadoop支持從stdin讀取輸入。爲了讀取stdin的輸入，使用' - '作爲源文件。
壓縮文件名：compressed.tar.gz
gunzip解-c compressed.tar.gz | hadoop fs -put -/user/files/uncompressed_data
只有缺點：這種方法的唯一缺點是在HDFS中，即使本地壓縮文件包含多個文件，數據也會合併到單個文件中。
http://bigdatanoob.blogspot.in/2011/07/copy-and-uncompress-file-to-hdfs.html
+1
沒錯，但我想要HDFS上的單個文件，我不想合併它們。 – Mohsen
相關問題
- 1. 如何將文件（PDF）傳輸到Hadoop文件系統
- 2. 將文件上傳到文件系統
- 3. Hadoop的複製文件到文件系統的Hadoop
- 4. 的Hadoop文件系統是物理文件系統或虛擬文件系統
- 5. Hadoop發行文件系統
- 6. 將數據從HBase遷移到文件系統。 （寫Reducer輸出到本地或Hadoop文件系統）
- 7. 未找到Hadoop文件系統命令
- 8. Hadoop文件系統統計信息（FileSystem.Statistics）
- 9. 在Hadoop文件系統中的多個文件的grep
- 10. Cordova將文件從輸入文件保存到文件系統=「文件」
- 11. 我可以使用Apache NIFI將文件傳輸到HDFS系統。
- 12. SSIS - 將文件系統部署到文件系統
- 13. 系統允許的最大文件大小是多少？
- 14. 如何將文件從本地文件系統複製到HDFS文件系統？
- 15. 安裝的Hadoop文件系統
- 16. 擁有kerberose的Hadoop文件系統
- 17. 本地文件系統上的Hadoop
- 18. hadoop文件系統的解釋
- 19. 谷歌的Hadoop文件系統加密
- 20. 關於hadoop文件系統transferFromLocalFile
- 21. 記錄Hadoop的文件系統操作
- 22. Hadoop分佈式文件系統
- 23. Linux與Hadoop文件系統的區別
- 24. Hadoop的分發文件系統
- 25. 從AWS中刪除文件系統 - Hadoop
- 26. 瞭解Hadoop文件系統計數器
- 27. Hadoop Yarn寫入本地文件系統
- 28. Hadoop文件系統副本 - namenode vs datanode
- 29. 需要解釋在Hadoop文件系統
- 30. 文件系統塊大小
爲什麼你會更快？ –
這需要通過hadoop dfs -put命令從本地計算機傳輸許多小文件。我收到了一些警告消息，因爲它需要很長時間，而且我也會被亞馬遜收取更多費用。在同一個文件系統上解壓文件應該比從文件系統複製到另一個文件系統要快。 – Mohsen