在風暴中設計拓撲？

Question

我正在從事網絡分析工作。我將使用kafka，storm和mongodb。 Kafka給暴風雨來源，Storm處理數據並將數據存儲在mongodb中。

要求

1. 風暴接收一個字符串，它是在elf格式。

2. 對數據進行過濾（某些過濾器用於刪除未定義的數據）。

3. 不得不精靈字符串轉換爲DBOBJECT

4. 保存在MongoDB中的DBOBJECT。

對於上述要求如何創建拓撲結構（可以使用多少螺栓）。

性能是否與螺栓的數量成正比？

我是否可以爲transactional拓撲或trident拓撲？

任何幫助或建議將是偉大的。

Answer 1

我會建議在設計螺栓時遵循Unix的哲學：「做一件事，做得好」。

• Bolt'A'過濾數據。
• 螺栓'B'將螺栓'A'的輸出轉換爲DBObject並將其保存到MongoDB。

這樣你就可以保持你的拓撲結構簡單。每個螺栓簡單而專注的責任。如果失敗了，你確切知道問題是什麼。當然，你可以告訴Storm每個螺栓需要多少個並行。

我不認爲你需要任何特殊的抽象（三叉戟或交易）。常規的Storm拓撲在這裏很好地爲您服務。

任何順便說一句，風暴文檔是優秀的！