Apache Flume多重代理

我測試過Apache Flume以將文件從本地傳輸到HDFS。但是，如果來自多個服務器的源文件（將文件從不同服務器的本地文件傳輸到HDFS），我可以只運行一個Flume實例，並將更多代理添加到flume-conf.properties中？Apache Flume多重代理

如果可以，我怎麼可以編輯flume-conf.properties以下參數：

agent1.sources.spooldirSource1.spoolDir = ?(server1/path) 
agent2.sources.spooldirSource2.spoolDir = ?(server2/path)

還有，我怎麼能運行水槽？

./flume-ng agent -n agent -c conf -f apache-flume-1.4.0-bin/conf/flume-conf.properties

只能運行一個水槽。那兩個以上呢？

來源

2013-10-07 user2597504

添加多個來源爲您需要，但配置他們使用相同的渠道 - 然後將使用相同的來源。所以這是類似的（請注意這段代碼不完整）：

agent1.sources.spooldirSource1.spooldir = server1/path 
agent1.sources.spooldirSource1.channel = myMemoryChannel 
agent1.sources.spooldirSource2.spooldir = server2/path 
agent1.sources.spooldirSource2.channel = myMemoryChannel

來源

2013-10-09 15:46:09 Sarge

Apache Flume多重代理

回答

相關問題