-1
我想讀取kafka中的Apache日誌,然後進一步處理Spark Streaming.I是kafka的新手。據我瞭解,我必須編寫一個生產者類來讀取日誌文件。如何從kafka文件中讀取日誌?
我想讀取kafka中的Apache日誌,然後進一步處理Spark Streaming.I是kafka的新手。據我瞭解,我必須編寫一個生產者類來讀取日誌文件。如何從kafka文件中讀取日誌?
您可以通過創建一個連接器來將日誌文件的每一行輸入到Kafka主題中。看看這裏的例子:
https://docs.confluent.io/current/connect/devguide.html#connect-developing-simple-connector
然後我可以寫消費者文件發送這些日誌在Spark流。 –