Flume：沒有錯誤拋出，但水槽無法完全傳輸文件

我一直在工作在過去2-3周的水槽。我遇到了一個我不知道如何解決的新情況。Flume：沒有錯誤拋出，但水槽無法完全傳輸文件

流程：使用基本流程，spoolDir - > fileChannel - > HDFS

.conf文件中設置沒有多餘的參數

，我試圖轉移

文件大小：1.4GB

情況：代理啓動正常，文件傳輸開始正常，源文件被重命名爲.COMPLETED，整個文件沒有被轉移到HDFS，沒有錯誤/異常被拋出。我跑了幾次同樣的adhoc，發現只有1.4M的演出中只有169Mb被轉移。看起來很奇怪！

有什麼建議嗎？任何解決方案任何假設？

來源

2013-06-26 Kasa

你能顯示你的配置嗎？ – Dmitry

我們使用以下流程： spoolDir-> AvroSinks（2） - > AvroSource（2） - > HDFSSink（2）非默認參數在CONF：級別1： spool_source_batchsize = 1000 avro_sinks_batchsize = 500 channel_capacity =百萬層2： HDFS_sinks_batchsize = 500 channel_capacity = 1000000 這絕對是與批料尺寸/容量I配置劑中的問題。你能指導我在哪裏出錯的批量處理方法。謝謝！ – Kasa

你等了多久？給它一個小時，你可能會看到一些東西。

這可能是你有一個損壞的fileChannel，它需要一些時間來清理它。

什麼版本的Flume，btw？

來源

2013-06-26 18:43:36 Sarge

我正在使用cdh4 flume-ng，我等了一段時間，但我沒有看到任何文件傳輸發生，生病交叉檢查一遍基本上我觀察到的是當我們調整批處理大小和通道容量到一些除了默認值之外的其他值，我們面臨這個問題，使用默認值，文件得到傳輸很好。我們使用的調節參數值分別爲： spool_source_batchsize = 1000 avro_sinks_batchsize = 500 channel_capacity = 1000000 hdfs_sinks_batchsize = 500 我在哪裏去了？ – Kasa

嘗試向文件添加更多數據並等待一段時間。日誌中有趣的事情？

另外請確保您的HDFS上有足夠的空間。

來源

2013-06-26 19:01:01 Tariq

基本上我觀察到的是，當我們將批處理大小和通道容量調整爲除默認值以外的其他值時，我們遇到了這個問題，默認值文件傳輸得很好。我們使用的調節參數值分別爲： spool_source_batchsize = 1000 avro_sinks_batchsize = 500 channel_capacity = 1000000 hdfs_sinks_batchsize = 500 我在哪裏去了？ – Kasa

Flume：沒有錯誤拋出，但水槽無法完全傳輸文件

回答

相關問題