卡夫卡火花流媒體整合

Question

我已經在我的系統中使用maven設置了Kafka和spark spark。我想知道任何建議，可以幫助我做更廣泛的操作，除了在製作人中輸入內容並在消費者中看到它。

我該如何創建一個將json或avro等數據連續放入卡夫卡生產者的源代碼，以便我可以使用spark來處理它，並執行一些操作。需要建議我如何設計這個

Answer 1

請找到下面的鏈接。

https://github.com/hortonworks-gallery/tutorials/blob/master/2015-09-26-transporting-real-time-event-stream-with-apache-kafka.md

這是一個HDP教程。如果你不使用HDP棧..請忽略教程的初始部分..

它是通過一個jar文件有卡夫卡生產者你可以生成

在本教程中，使用Java API來使用紐約市卡車路線（kml）文件生成卡車事件。

您需要下載數據文件和Java代碼和jar文件..

詳情教程

希望這有助於