0
我正在使用flume-ng及其HDFS接收器。現在，如果我將一些文件添加到給定的文件夾中，它也會自動存儲在HDFS中。它工作正常;但是我注意到HDFS中文件的大小非常小。因此，如果我將1GB文件放入指定文件夾，它將以數百個文件存儲在HDFS中。我可以讓HDFS中的文件更大嗎？我如何在flume-conf.properties中配置它？Apache Flume文件大小
A
回答
0
您是否嘗試增加hdfs.rollSize。
有一個開放的jira，將有助於增加hdfs塊大小https://issues.apache.org/jira/browse/FLUME-2003
相關問題
- 1. 配置flume寫文件〜100mb（接近120mb hdfs文件大小）
- 2. Apache Flume - 只發送新文件內容
- 3. 用Apache Flume攝取bzip2文件
- 4. Apache Flume的好處
- 5. Apache Flume POC問題
- 6. 如何在Apache Flume中傳輸文件時保留文件名？
- 7. Flume-ng尾文件
- 8. Flume流gz文件
- 9. Flume - HiveSink：java.lang.NoClassDefFoundError：org/apache/hive/hcatalog/streaming/RecordWriter
- 10. 如何測量Apache Flume EPS？
- 11. Apache Flume設置複雜性
- 12. 如何分發Apache Flume 1.4
- 13. 沒有hadoop的Apache Flume
- 14. Apache Flume多重代理
- 15. Apache Flume與Apache Flink的區別
- 16. Apache Flume無法將文件從源文件複製到目標文件
- 17. Apache Flume爲每一行寫入新文件
- 18. Apache Flume HDFS sink文件寫入有什麼保證？
- 19. 獲取文件大小 - Apache Commons文件上傳
- 20. Apache Flume /var/log/flume-ng/flume.log（權限被拒絕）
- 21. PHP文件大小報告舊大小
- 22. apache和gunicorn的最大（限制）上傳文件大小
- 23. Flume配置文件_滾動
- 24. Flume傳輸gzip文件
- 25. 文件大小
- 26. Apache grep大日誌文件
- 27. Apache Flume Kafka Producer - 動態生成partition_id/key
- 28. Apache Flume卡住後執行flu-ng
- 29. 在Apache Flume JMS 1.6.0中配置SSL
- 30. 在Apache Flume中壓縮數據