1
我想用一個簡單的例子來實現lambda架構。我無法將我的技術堆棧放入每層lambda體系結構中。使用Hadoop,Apache Spark,HBase實現lambda架構
我想要在twitter推文中實時查找前10個熱門話題標籤。我列出了http://lambda-architecture.net/的每一層野兔的目的。
- 所有數據進入系統被分派到兩個批次層 和用於處理的速度層。
- 的批次層有兩個作用:(ⅰ)管理所述數據集的主 (不可變的,追加只設置原始數據),和(ii)預先計算的 批處理視圖。
- 服務層對批處理視圖進行索引,以便可以以低延遲,臨時方式查詢 。
- 速度層補償了更新 服務層的高延遲並僅處理最近的數據。
- 任何傳入的查詢可以通過合併來自批次 的結果和實時視圖來回答。
我可以解決每層的問題的哪一部分。我正在使用Apache Spark & Hadoop HDFS技術堆棧。