Flume自動擴展性和故障轉移

Question

我的公司正在考慮使用flume進行一些相當高容量的日誌處理。我們認爲日誌處理需要進行分佈式發佈，無論是針對卷（可伸縮性）還是故障轉移（可靠性）的原因，Flume似乎都是明智的選擇。

但是，我們認爲我們必須錯過某些明顯的東西，因爲我們沒有看到Flume如何提供自動可伸縮性和故障轉移。

我想定義一個流，說每個日誌行，做事A，然後傳遞它，做事B，然後傳遞它，做事C，等等，這似乎與Flume很好地匹配。但是，我希望能夠以純粹的邏輯術語來定義這個流程，然後基本上說：「嘿Flume，這裏是服務器，這裏是流程定義，開始工作！」。服務器將會死亡（並且操作系統會重啓它們），我們將把服務器添加到集羣中，並退出其他服務器，並且flume會將工作引導到具有可用容量的任何節點。

此描述是Hadoop map-reduce如何實現可伸縮性和故障轉移，並且我假定Flume將是相同的。但是，文檔意味着我需要手動配置運行每個邏輯節點的物理服務器，併爲每個節點配置特定的故障切換方案。

我是對的嗎，Flume不符合我們的目的，或者我錯過了什麼？

感謝您的幫助。

Answer 1

根據您是否使用多個主設備，您可以編寫配置以遵循故障切換模式。

這是指南中相當詳細：http://archive.cloudera.com/cdh/3/flume/UserGuide/index.html#_automatic_failover_chains

要回答你的問題，說白了，水槽還沒有自動找出故障切換方案的能力。