使用Hadoop作爲MySQL存儲引擎？

Question

除了使用Hive之外，爲了對SQL程序員的HDFS上的大規模日誌數據執行臨時查詢，這是一個不錯的主意嗎？

有沒有類似的開源實現？

Answer 1

從技術上講，實施起來不應該那麼複雜。我看到一些概念性問題，NoSQL引擎在性能方面的行爲與MySQL引擎對存儲引擎的期望根本不同。具體來說 - 它們具有良好的隨機訪問，並且在全掃描或範圍掃描中效率不高。問題是將所有這些成本轉化爲優化器是可能的。它適用於任何RDBMS引擎。實際上，它們中的很多都具有可插拔存儲引擎的概念，並具有不同級別的靈活性/文檔。
我認爲，要實現這樣的集成，我們需要能夠將謂詞下推到NoSQL引擎以進行全/範圍掃描。我不能100％確定MySQL在存儲引擎接口級別上支持它。
我用這種方法看到的另一個嚴重問題是，MySQL沒有並行查詢，因此不能太好處理大數據。

Answer 2

我在2014年搜索的問題，我發現Infinidb和a blog關於它。它集成了hadoop和mysql。它提供了一個本地mysql協議訪問存儲hadoop的數據。

我沒有讀太多關於它，而它在兼容性有問題，我（與MySQL的現有應用程序）和性能（比較好調整索引和數據分區）。

但它可能是最簡單的解決方案，具有非常大的數據集的高可用性，而這些數據集不能放入少量磁盤。 （HDFS採用內置的複製，將不需要SAN或RAID）

順便說一句，在Infinidb網站目前受心臟出血漏洞錯誤。我不知道他們的產品是否安全，因爲它已經補充了5個月以上的流言。