1
我正在實現Lambda體系結構，分別針對批處理層和速度層使用spark和spark流。到目前爲止，我在HBase中存儲了批處理視圖和實時視圖，但在不同的表中。如何在Lambda架構中實現合併操作？
我被困在如何合併由批處理視圖生成的批處理視圖和由速度層生成的實時視圖，以便進行查詢。如何做到這一點？我應該將它們轉儲到同一個HBase表中，客戶端直接查詢HBase嗎？
A
回答
0
首先，我認爲HBase不是實時視圖的最佳選擇，因爲重載隨機讀取/隨機寫入不是HBase最強大的一面。
無論如何，一個辦法可以是以下幾點：在星火
- 緩存批次視圖
DataFrame/DataSet例如 - 通過通過星火獲取的實時性和它表示爲
DataFrame/DataSet太 - 創建合適的管道以在需要時合併這些結構，例如在從UI請求等
這樣做是非常簡化流程可以在我的github上可以找到
相關問題
- 1. 在php中實現集合論操作
- 2. 在架構中實現cronjobs？
- 3. 如何在C＃中實現malloc操作＃
- 4. 如何在MIPS中實現NOT操作？
- 5. 如何在Pascal中實現Matrix操作？
- 6. 如何在Python中實現鏈操作？
- 7. 如何在JavaScript中實現原子操作（併發模型）？
- 8. 如何在Sequential Oracle設計中實現並行操作？
- 9. 如何MVC5 WCF實現3層架構
- 10. 如何首次實現Solr架構
- 11. 哪個架構適合在這個項目中實現？
- 12. 使用Hadoop，Apache Spark，HBase實現lambda架構
- 13. 如何在實體框架（多個地方或聯合）中執行此操作？
- 14. 實體框架和lambda表達式樹（深空合併）
- 15. 如何在Google Dart中查找操作系統架構？
- 16. 如何在微服務架構中實現即時一致性？
- 17. 如何在xml架構中實現這一點？
- 18. 如何在MVVM中實現對話架構
- 19. jQuery/javascript DTD架構操作
- 20. 如何在ADO.NET實體框架中執行此操作
- 21. 如何做一個data.table合併操作
- 22. 如何實現JSP瀏覽器操作
- 23. 記錄操作，如何實現更好
- 24. 如何使用Codeigniter實現CRUD操作？
- 25. 如何實現拖放操作
- 26. JSF - JSF實現如何識別操作？
- 27. NHibernate如何實現批處理操作？
- 28. 如何實現字符串操作？
- 29. 如何實現的CRUD操作
- 30. 如何實現原子操作？