使用Apache Kafka獲取網站日誌並使用Spark Streaming處理它

Question

我是Apache Kafka的新手。我能夠運行控制檯生產者和消費者，但現在我想使用Apache Kafka和Spark Streaming處理我朋友的網站的日誌。首先，我已經開始了動物園管理員服務using-： 斌/ zookeeper-server-start.sh配置/ zookeeper.properties

從那以後，我就開始了經紀人using-： 斌/ kafka-server-start.sh配置/server.properties

然後創建了一個topic.But後，我很困惑，在哪裏運行生產者（bin/kafka-console-producer.sh - 經紀人列表localhost：9092 --topic測試）命令無論是在我的筆記本電腦還是在客戶端？ 請幫忙。

Answer 1

我懷疑，使用kafka-consule-consumer.sh是一個不錯的選擇......這是專爲開發過程中的測試...

但是，如果你有一個日誌文件，可以通過管道將日誌文件到像這樣的生產者：

tail -n +1 -f webServer.log | bin/kafka-consule-consumer.sh --broker-list <broker>:9092 --topic test 

當然，您必須在Web服務器計算機上運行此命令。