卡夫卡連接教程停止工作

Question

我下面的步驟＃7在此鏈接（使用卡夫卡連接導入/導出數據）：

http://kafka.apache.org/documentation.html#quickstart

這是工作順利，直到我刪除了「的test.txt」文件。主要是因爲這是log4j文件的工作原理。經過一段時間後，該文件將旋轉 - 我的意思是 - 它將被重命名爲&具有相同名稱的新文件將開始寫入。

但之後，我刪除了'test.txt'，連接器停止工作。我重新啓動了連接器，代理，zookeeper等，但'test.txt'中的新行不會進入'連接測試'主題&，因此不會進入'test.sink.txt'文件。

我該如何解決這個問題？

Answer 1

連接器會保留其「從文件中讀取的最後位置」的選項卡，以防萬一它在讀取文件時崩潰，它可以繼續停止。

問題是你刪除了文件而沒有將偏移量重置爲0，所以它基本上看不到任何新的數據，因爲它等待新數據顯示從一開始就從特定字符數開始......

解決方法是重置偏移量。如果您在獨立模式下使用連接，默認情況下，偏移將保存在/tmp/connect.offsets中，只需從那裏刪除它們即可。

從長遠來看，我們需要更好的文件連接器:)