使用javascript解析數據時，druid kafka攝入失敗

Question

我有一個特定的kafka消息格式。他們被分開了。現在解析這個使用安寧我使用下面的解析規範。

 "parser" : { 
      "type" : "string", 
      "parseSpec" : { 
       "timestampSpec" : { 
       "column" : "datetime", 
       "format" : "yyyy-MM-dd HH:mm:ss" 
       }, 
       "dimensionsSpec" : { 
       "dimensions" : [], 
       "dimensionExclusions" : [ 
        "datetime" 
       ] 
       }, 
       "format" : "javascript", 
       "function" : "function(str) { var parts = str.split('^'); return { key1:parts[0],key2:parts[1],key3:parts[2] } }" 
      } 
      }, 

但是，當我通過kafka生產者插入一行並檢查安靜日誌。它顯示droppedCount=1。所以它正在丟棄消息。我在瀏覽器中檢查了上面的javascript功能。它工作正常。這裏有什麼可能是錯的？

Answer 1

我不認爲它支持JavaScript格式。

我的經驗是Tranquility不支持全套德魯伊配置，而文檔明確提到「spec - 沒有ioConfig的德魯伊攝取規範」，並鏈接到德魯伊配置文檔。我花了很多時間在非工作特性上。我甚至在調試器中運行它，通過代碼來確保。

我建議Kafka extension最近添加到德魯伊。你不需要寧靜。我相信德魯伊支持的所有格式都可以使用這種方法。請嘗試。

寧靜尚未更新很長一段時間。我建議轉移到本地卡夫卡攝入。