0
我在BE模式下運行我的flume(flume 0.9.4-cdh3u4)流程,並且位於不同機器上的agent和collector都是大EC2實例什麼是s3的典型寫入吞吐量(使用flume 0.9.4)
收集器寫入本地文件系統以及同一區域中的S3存儲桶。
在E2E模式下配置的代理已經過測試,處理速度爲4MB/s,代理的速度也是<。
使用「iftop的」我注意到有通過收集到S3和寫入吞吐量到S3各地40KB/s的徘徊兩個傳出連接 - 50KB/s的
什麼是典型的寫吞吐量s3你看過使用收藏家?
我想知道是否有可能產生更多的這些線程(寫入S3)以最大化實例利用率?
我該怎麼做?
我寧願不產生更多的收集器,如果我能以另一種方式提高寫入吞吐量。
哪個配置可以用來增加捲尺寸? – newToFlume