2016-12-06 61 views
1

我正在從Camus遷移到Kafka Connect。我正在致力於Kafka Connect的實施,並專注於分佈式模式。我能夠在本地機器上成功啓動一名工作人員,我假設他與我的Kafka羣集通信。我可以進一步運行兩個GET命令,例如//connector-plugins,它們返回正確的JSON。但是,當我嘗試發佈命令來創建連接器時,我收到500錯誤並超時。具體來說,我用這個命令POST來進行測試:使用Kafka Connect創建連接器分佈式返回500錯誤

curl -X POST -H "Content-Type: application/json" --data '{"name": "local-file-sink", "config": {"connector.class":"FileStreamSinkConnector", "tasks.max":"1", "file":"test.sink.txt", "topics":"myTopic" }}' localhost:8083/connectors

,最終我得到這樣的響應:

{"error_code": 500, "message": "Request timed out"}

我迷路了,什麼是怎麼回事。從我的卡夫卡連接分佈式工作者表演的日誌這樣的:

[2016-12-05 14:34:32,436] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:22:34:32 +0000] "GET /connector-plugins HTTP/1.1" 200 315 2 (org.apache.kafka.connect.runtime.rest.RestServer:60) 
[2016-12-05 15:05:25,422] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:05:25 +0000] "GET /connector-plugins HTTP/1.1" 200 315 3 (org.apache.kafka.connect.runtime.rest.RestServer:60) 
[2016-12-05 15:05:28,389] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:05:28 +0000] "GET /connector-plugins HTTP/1.1" 200 315 2 (org.apache.kafka.connect.runtime.rest.RestServer:60) 
[2016-12-05 15:07:38,644] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:06:08 +0000] "GET /connectors HTTP/1.1" 500 48 90003 (org.apache.kafka.connect.runtime.rest.RestServer:60) 
[2016-12-05 15:07:44,450] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:07:44 +0000] "GET /connector-plugins HTTP/1.1" 200 315 1 (org.apache.kafka.connect.runtime.rest.RestServer:60) 
[2016-12-05 15:13:06,703] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:11:36 +0000] "POST /connectors HTTP/1.1" 500 48 90003 (org.apache.kafka.connect.runtime.rest.RestServer:60) 
[2016-12-05 15:15:38,506] INFO 0:0:0:0:0:0:0:1 - - [05/Dec/2016:23:14:08 +0000] "POST /connectors HTTP/1.1" 500 48 90005 (org.apache.kafka.connect.runtime.rest.RestServer:60) 

在這裏你可以看到錯誤代碼和指令。

我想我的主要問題和問題是:

  1. 我怎樣才能更好地調試卡夫卡連接,所以我可以嘗試解決這一問題?
  2. 有什麼我正在做的是明顯錯誤的?
  3. 是否有關於獲取Kafka Connect分佈式工作器和連接器運行的分步文檔或博客文章?我沒有真正看到任何甚至是最佳實踐的文檔?也許我對採用者來說太早了。

我期待着回覆社區,並感謝您的幫助!

+0

您可以檢查您的代理羣集是否具有broker.id = 0的代理 –

回答