源數據到水槽

Question

我試圖設置一個水槽劑源數據從系統日誌服務器。基本上，我在服務器（server1）上建立了一個系統日誌服務器來接收系統日誌事件，然後將所有消息轉發到安裝了flume代理的不同服務器（server2），最後所有數據都將匯聚到kafka集羣。

水槽配置如下。

# For each one of the sources, the type is defined 
agent.sources.syslogSrc.type = syslogudp 
agent.sources.syslogSrc.port = 9090 
agent.sources.syslogSrc.host = server2 

# The channel can be defined as follows. 
agent.sources.syslogSrc.channels = memoryChannel 

# Each channel's type is defined. 
agent.channels.memoryChannel.type = memory 

# Other config values specific to each type of channel(sink or source) 
# can be defined as well 
# In this case, it specifies the capacity of the memory channel 
agent.channels.memoryChannel.capacity = 100 


# config for kafka sink 
agent.sinks.kafkaSink.channel = memoryChannel 
agent.sinks.kafkaSink.type = org.apache.flume.sink.kafka.KafkaSink 
agent.sinks.kafkaSink.kafka.topic = flume 
agent.sinks.kafkaSink.kafka.bootstrap.servers = <kafka.broker.list>:9092 
agent.sinks.kafkaSink.kafka.flumeBatchSize = 20 
agent.sinks.kafkaSink.kafka.producer.acks = 1 
agent.sinks.kafkaSink.kafka.producer.linger.ms = 1 
agent.sinks.kafkaSink.kafka.producer.compression.type = snappy 

但是，莫名其妙地沒有注入flume agent。

appricate的建議。

Answer 1

我已經安裝一個服務器上的系統日誌服務器所謂的（服務器）

的syslogudp來源必須綁定到主機

agent.sources.syslogSrc.host = server1 

然後轉發到不同的所有消息服務器（server2）

不同服務器指宿

agent.sinks.kafkaSink.kafka.bootstrap.servers = server2:9092 

水槽劑是僅承載這些組件（源庫，信道），以促進事件的流程的處理。