kafka在logstash配置並將輸出發送到ES

我試圖從Kafka獲取數據並將其推送到ES索引。kafka在logstash配置並將輸出發送到ES

input { 
kafka { 
bootstrap_servers => "XX.XXX.XXX.XXX:9092" 
topics => ["timeseries_ht"] 
} 
} 
output { 
elasticsearch { hosts => ["XX.XXX.XXX.XXX:9200"] 
index => "sound" 
} 
}

運行後，索引不會在我的ES主機中創建。。配置有什麼問題嗎？我正在使用LOGSTASH 5.0.0。和ES 5.0.0。

在Logstash 2.x版：

input { 
kafka { 
zk_connect => "XX.XXX.XXX.XXX:2181" 
topic_id => ["timeseries_ht"] 
} 
} 
output { 
elasticsearch { 
hosts => ["XX.XXX.XXX.XXX:9200"] 
index => "sound" 
} 
}

與Logstash 2.X不工作也是如此。我無法在主機中看到索引創建。

任何人都可以幫助我在這裏做錯了嗎？

來源

2016-12-22 Soundarya Thiagarajan

是數據流進你的主題或者是你的話題滿載，你希望Logstash從一開始消耗它的偏移？在Logstash 2.x中曾經有過一種方法，但在5.x中不再有這種方式。也許嘗試添加'auto_offset_reset =>「最早的」'。 – Val

我的主題如果完全加載數據，我期望Logstash使用它。將嘗試添加它。 –

不工作。有沒有其他方法？ –

隨着Logstash 2你可以配置你kafka輸入這樣，這將工作：

input { 
    kafka { 
    zk_connect => "XX.XXX.XXX.XXX:2181" 
    topic_id => ["timeseries_ht"] 
    auto_offset_reset => "smallest" 
    reset_beginning => true 
    } 
} 
output { 
    elasticsearch { 
    hosts => ["XX.XXX.XXX.XXX:9200"] 
    index => "sound" 
    } 
}

來源

2016-12-22 11:30:26 Val

kafka在logstash配置並將輸出發送到ES

回答

相關問題