1
對於不可拆分的文件，例如GZIP，將只有一個映射作業，因爲GZIP文件不可拆分。是否有任何選擇或優化將這些文件的所有塊存儲在一個數據節點中，這樣我們至少可以節省網絡帶寬？HDFS是否將不可拆分的文件存儲在一個數據節點中？
A
回答
1
爲您的gzip文件增加HDFS塊大小應該大於文件大小。有關設置每個文件的HDFS塊大小的更多信息，請參見answer
相關問題
- 1. 在Hadoop HDFS中，一個1GB文件需要存儲多少個數據節點？
- 2. 是否可以將數據從Python存儲在Access文件中？
- 3. 是否可以將一個字節數組（原始數據）存儲在java類文件中？
- 4. 將數據存儲在hdfs而不是消息隊列中
- 5. 是否可以將xslt文件拆分爲多個文件？
- 6. 閱讀HDFS文件拆分
- 7. 我們可以拆分一個Big HDFS文件夾嗎？
- 8. 是否可以將多個源文件中的一個JAX-WS服務拆分？
- 9. 是否可以將Hadoop Counter數據保存到HDFS中？
- 10. HDFS中哪個節點要求數據？
- 11. 是否可以在Postgres中存儲1個字節的數字？
- 12. Impala是否可以查詢存儲在Hadoop/HDFS中的XML文件
- 13. 根據節點屬性將XML文件拆分成不同的XML文件
- 14. 我們可以將關係數據存儲在hdfs中
- 15. 是否可以將一個哈希數組存儲在cookie中？
- 16. 在Scenekit中如何將一個SCNNode拆分爲多個節點？
- 17. 是否可以將HHVM字節碼存儲爲文件？
- 18. 從hdfs遠程檢索文件並將其存儲在本地節點
- 19. 元數據是否存儲在Cassandra集羣的每個節點中？
- 20. hadoop命令在HDFS上拆分文件
- 21. 是否可以拆分maven pom文件？
- 22. 是否可以拆分.htaccess文件？
- 23. Cassandra存儲數據的哪個節點？
- 24. 將浮點數存儲在文件中
- 25. HDFS排除AddblockRequestProto中的數據節點
- 26. Java：是否可以將原始數據存儲在源文件中？
- 27. 在一個節點中存儲一個完整的數組
- 28. 確定是否拆分兩個TextFrame將在InDesign中拆分一個段落
- 29. 可否將fwrite（）僅用於.txt文件/將表單數據存儲在另一個.PHP文件中？
- 30. 在hadoop HDFS中存儲大文件？