我最近遇到了Apache Kylin,並且很好奇它的用例是什麼。據我所知,這似乎是一個工具,旨在解決與超過10億行相關的非常具體的問題,彙總,緩存和查詢來自其他來源(HBase,Hadoop,Hive)的數據。我在這個假設中糾正了嗎?什麼是Apache Kylin用例?
回答
Apache Kylin的用例是Hadoop上的交互式大數據分析。它允許您通過3個簡單步驟以亞秒級的時間間隔查詢大型Hive表。
- 在星型模式中標識一組Hive表。
- 在離線批處理過程中從Hive表中構建一個多維數據集。
- 使用SQL查詢Hive表,並通過Rest API,ODBC或JDBC在秒內獲得結果。
用例相當一般,它可以快速查詢任何Hive表,只要您可以從表中定義星型模式和模型立方體即可。如果您不確定什麼是星型模式和什麼是多維數據集,請檢查Kylin terminologies。
Kylin提供了ANSI SQL接口,因此您可以像過去一樣查詢Hive表。然而,一個限制是麒麟只提供彙總結果,換句話說,SQL應該包含一個「group by」子句以產生正確的結果。這通常很好,因爲大數據分析更注重彙總結果而不是單個記錄。
以下用例是否有效? a)使用蜂房連接器 c)中麒麟將處理映射配置單元架構於立方體模式和執行所述地圖的使用HiveQL b)中加載數據設計一個星型架構成的Hadoop通過HiveQL d)輸出的結果/縮小查詢HBase e)使用Kylin通過Calcite to HBase執行SQL語句並將結果作爲JSON返回。 –
非常接近!只需要注意步驟c)是手動的,Hive模式到多維數據集模式的映射是手動的,Kylin爲您提供了一個GUI。此外,步驟d)輸出不是特定於任何查詢的,而是Hive數據的一般索引,我們稱之爲索引「cube」。 –
- 1. Apache Kylin - 空值測量變爲零?
- 2. Apache Kylin:找不到中間表
- 3. 什麼是Apache Velocity?
- 4. Kylin的SQLRequest中'acceptPartial'和'backdoorToggles'的含義是什麼?
- 5. 什麼是Apache Lucene
- 6. 什麼是Apache Beam?
- 7. 什麼是Apache呢?
- 8. 什麼是apache zeppelin?
- 9. 在Apache Pivot中使用Application.UnprocessedKeyHandler的例子是什麼?
- 10. ContextCompat.checkSelfPermission的用例是什麼?
- 11. 什麼是zeromq用例?
- 12. 什麼是Apache駱駝豆?
- 13. 什麼是Apache contrib模塊?
- 14. Apache Karaf究竟是什麼?
- 15. 例外 - 什麼是「例外」?
- 16. 什麼是Apache Thrift中的「註釋」,它用於什麼?
- 17. Apache Kylin - 創建立方體時沒有平均尺寸
- 18. 從蜂巢獲取增量數據到apache kylin的方法?
- 19. Apache kylin魔方失敗「沒有任務計數器」
- 20. 什麼是Apache的常見配置
- 21. 什麼是Apache Helix中的「分區」
- 22. JavaScript - 什麼是單例類?
- 23. 什麼是存根例程?
- 24. 什麼是Google AppEngine實例?
- 25. 什麼是實例變量?
- 26. 這是什麼例外?
- 27. 什麼是播放實例
- 28. Apache SetEnv prepends REDIRECT_。是什麼賦予了?
- 29. 什麼是apache的最大url長度?
- 30. 什麼是Apache CXF下的pom.xml和log4j.properties?
看看:http://www.ebaytechblog.com/2014/10/20/announcing-kylin-extreme-olap-engine-for-big-data/ –
這並不真正給出通用的用例,而是解釋Ebay如何使用它(如ebay首先開發的工具)和產品架構。 –