端到端測試BigData管道的工具？

Question

我有這樣的管道：Web服務器+ rsyslog-> Kafka-> Logstash-> ElasticSearch-> Kibana

我發現這些工具來幫助測試我的管道：

1. 生成web服務器負載通過旋轉啓動JMeter與jmeter-ec2
2. EC2實例生成卡夫卡負載，並幫助圖形吞吐量Sangrenel

如果任何人有測試組件的任何其他建議，我想知道或端到端測試？謝謝。

Answer 1

偉大的問題！我正在尋找類似的東西，但可能會解決一個簡單的家庭解決方案。

1. 使用螺栓將數據寫入卡夫卡來設置風暴集羣。有一點需要注意的是id/key，因此你的消息分佈在多個分區中。 Storm的原因是有分佈式的發佈者。作爲Storm的替代品，您可以讓多個製作人說出KafkaAppender
2. 一旦您知道了您的Kafka性能，請將Logstash連接到已加載的主題，並儘可能快地讓它流失。您可能會發現與KafkaManager或一些有用的信息連接到JMX（許多工具，這些）
3. 監測彈性是奇蹟
最簡單的方法
4. 性能Kibana取決於數據查詢返回的金額，但最小間隔仍是5秒。

根據我的經驗，logstash性能將取決於數據大小和grok的複雜性。 Elastic的性能主要是集羣大小，分片/模板配置。另外，如果您控制數據生成，您可以比較記錄生成的時間和logstash的時間戳，並測量滯後量。