什麼生產者收集和轉換網絡服務器日誌到avro格式並寫入kafka？

Question

當前，我想收集Apache Web服務器日誌（access_logs，error_logs文件）並以Avro格式寫入Kafka。有沒有現有的生產者可以做這個操作？如果不是，你可以提供一種實現它的方法嗎？我在谷歌搜索，但沒有運氣。

像http://grokbase.com/t/kafka/users/14851mg6mk/apache-webserver-access-logs-kafka-producer，但我想寫在Avro格式。

在此先感謝。

Answer 1

您可以使用Logstash Kafka output和Avro codec - 應該按照我的理解你想要做的。