-1
我正在使用flume將twitter數據下載到hdfs中。雖然我有超過2 GB的數據，但我的塊文件拆分小於64MB。 即第一個文件有300KB，第二個文件 - 566 KB。 這是爲什麼發生？即使文件大小不是64MB，爲什麼塊文件會被分割？
A
回答
0
這是因爲你的水槽配置。
閱讀this，你必須設置hdfs.rollInterval或hdfs.rollSize
相關問題
- 1. 爲什麼文件大小會重複？
- 2. 將大文件分割爲小文件，條件爲
- 3. Mapreduce爲什麼分裂（文本文件）的數量即使對於一個小文件也是大於1
- 4. 使用php腳本以小塊分割大型壓縮文件
- 5. minification + gzip爲什麼會使文件大小小於gzip
- 6. 爲什麼谷歌文件系統將文件分割爲64 MB的塊？
- 7. Gzip：將一組小文件（<64mb）合併爲幾個較大的文件（64mb或128mb）
- 8. 如何使用Java將wav文件分割爲更小的塊？
- 9. 在小文件大小的情況下HDFS塊大小會發生什麼
- 10. 如何將大文本文件分割成更小的文件？
- 11. 爲什麼使用Powerpoint編輯PDF會增加文件大小？
- 12. 將大型XML文件分割成小塊
- 13. 什麼是Web上SWF文件的最大文件大小？
- 14. 爲什麼bash不能區分文件名中的大小寫？
- 15. 什麼是hbase壓縮文件大小
- 16. 豬：將大文件分割成多個小文件
- 17. 在UNIX中按列分割大文本文件爲多個小文件
- 18. 如何使用分割文件（分塊文件）組織僞流？
- 19. 爲什麼轉換的視頻文件大小大於原始文件大小？
- 20. 「流式傳輸」音頻文件的「塊大小」是什麼？
- 21. HDFS塊大小和文件大小的問題，文件小於塊大小
- 22. PHP腳本將大文本文件分割爲多個文件
- 23. Perl將文本文件分割成塊
- 24. 使用文本將分割成小塊
- 25. 被「」分割。在Spark中使用flatMap作爲文本文件
- 26. 將文本文件分割成大小相同的文件，而不會在JAVA中打破文字
- 27. 什麼是ASP.NET Temporary Files，文件夾的典型文件大小？
- 28. 什麼是PHP ini文件中的MAXIMUM文件上傳大小
- 29. 使用PHP分割大文件
- 30. 分割文件不超過N塊但長度最小