2016-08-09 206 views
1

我需要從某些大型MySQL表中獲取數據以便能夠在儀表板/ Web門戶上顯示。主要是,我的重點是在數據集大小的情況下提高SQL性能。Apache Ignite與Apache Drill for SQL的性能

另外,考慮到Ignite將RAM用作主數據源,Apache Ignite的可擴展性是否比Apache Drill低?

請讓我知道的情況下,需要更多的細節。

我經歷過這些鏈接: http://drcos.boudnik.org/2015/04/apache-ignite-vs-apache-spark.html https://mpouttuclarke.wordpress.com/2016/01/04/why-i-tried-apache-spark-and-moved-on/

是否使用可選的HDFS層之下,胰島素樣生長因子會減慢系統對SparkSQL水平的表現? https://ignite.apache.org/features/igfs.html

回答

1

而且,Apache的點燃比Apache鑽少可伸縮考慮的Ignite使用RAM作爲主數據源?

讓內存中的數據實際上允許縮放更好。我對Drill不太瞭解,無法比較,但Ignite的所有關於可擴展性和擴展性都非常好。

在IGFS下使用可選的HDFS層是否會降低系統的性能到SparkSQL級別? https://ignite.apache.org/features/igfs.html

如果使用HDFS作爲輔助文件系統,只有在請求的數據不在內存中時才能訪問它。所以,正確使用它不會減慢你的速度。

請注意,Ignite提供了非常豐富的SQL功能[1]。您可以運行只需將您的數據加載到內存中,並使用快速索引搜索運行符合ANSI-99的查詢。例如,SparkSQL根本不支持任何索引,這在很多情況下使得它慢得多(至少據我所知)。

[1] https://apacheignite.readme.io/docs/sql-queries

+0

這是有幫助的。另外,你能否指點我一些教程,將HDFS用作輔助文件系統? – NiSSaN

+0

請看這裏:https://apacheignite-fs.readme.io/docs/secondary-file-system –

1

鑽是一個簡單的SQL查詢引擎主要用於NoSQL數據庫。由於內存處理,與Hive和許多NOSQL數據庫相比,性能很好。

檢查查詢如何在Drill中執行 - here

可擴展性

阿帕奇鑽是高度可擴展性,無需擔心。

你無法比較理論中的兩個重疊工具。 我建議你做一個POC在這兩個工具上取一些樣本MySQL數據。性能取決於你的用例。

鑽是最好的(因爲它的柱狀佈局)查詢複雜的JSON文件和解決通曉 usecases(進行跨多個數據存儲加入)。