我們可以使用Apache卡夫卡作爲一個系統文件看

我在HDFS.Our上游源路徑和目標路徑放置文件的源路徑和我們爲您在源路徑添加任何新的文件，如果有，我們從複製任何源路徑到目標路徑。我們可以使用Apache卡夫卡作爲一個系統文件看

對於這個現在我們正在使用的shell腳本。但我想在兩者之間使用Kafka。我研究了它，發現只有HDFS接收器連接器。 HDFS沒有源連接器。

我的問題是我們可以使用卡夫卡在這裏怎麼樣？

對於這種使用情況下，我不認爲你需要卡夫卡。有多種方法可以做到這一點，一個方式，例如，你可以使用動物園管理員觀察家接口，干將在觀看事件觸發和編程火副本從程序

到的Hadoop作爲備用，Hadoop的2.6推出DFSInotifyEventInputStream你可以用於此。您可以從HdfsAdmin得到它的一個實例，然後只需要調用。取（）或.poll（）來獲取所有的事件，並根據事件中，你可以採取行動

2017-09-27 16:23:45

回答