2014-04-30 61 views
0

我想將mysql與hadoop中的項目集成在一起。我搜索了很多不同的方法,有兩種方法:實時使用「用於hadoop的mysql應用程序」和「apache sqoop」用於非實時用途。
我發現Gora也有這個能力,但我找不到任何有關如何去做的信息。
Gora是否真正的時間? gora和mysql applier或sqoop有什麼區別?
對於hadoop和mysql的集成,它是否需要任何nosql db作爲接口?Apache Gora vs mysql applier和sqoop

回答

0

此時Gora的SQL模塊因爲某些問題而被禁用。它不能滿足您的需求:(待機......在未來的版本將被再次啓用

無論如何,一些解釋關於戈拉:。

戈拉是一個對象映射(未明確關係),我們可以說它重點關注NoSQL,直到SQL模塊重新啓動...

我發現Gora是一個在後端擁有NoSQL並能夠以結構化格式獲取數據作爲對象的好工具。

這是真的嗎?gora和mysql applie有什麼區別? r或sqoop?

這是,但我想這不是你在想什麼。它不是一個實時自動獲取工具,它不是一個自動插入工具,它不是一個解析器和插入,不是一個過濾器,不是一個...

它是Hadoop和一個可配置的數據存儲(考慮像Hibernate這樣的ORM)。

對於hadoop和mysql的集成,它是否需要任何nosql db作爲接口?

將它與Hadoop集成非常簡單,就像配置Hadoop使用GoraMapper一樣簡單。您會得到一張地圖,其中包含對象(從您配置的NoSQL存儲庫映射)。

不久將與豬和級聯整合,我覺得:)

而我的建議是:如果你想從/到MySQL閱讀,看看Pig和Hive,雖然他們不是「實時「(你的意思是在MySQL中插入一行後立即寫入HDFS?)。

我希望這會有所幫助。

+0

謝謝阿方爲你的偉大的解釋。我理解戈拉要好得多。關於實時性,我的意思是在程序執行期間在MySQL中寫入並在HDFS中寫入。 – user3318731

+0

如果你問,如果你可以在任何應用程序中使用它,答案是肯定的,你可以計劃的任何應用程序,並使用戈拉訪問的數據存儲。它不是Hadoop專有的。 –

0

您是否試圖將MySQL實例中的數據寫入HDFS?您希望寫入HDFS以使數據可用於其他Hadoop實用程序的原因是什麼?在這種情況下,您可能希望數據採用某些兼容的格式,如Text,SequenceFile,ORC,Parquet等...

您是否試圖通過MySQL進行查詢並希望它在HDFS中查詢數據?

我是InfiniDB的架構師
如果您正在研究擴展您的數據並希望在HDFS中使用它,並且希望在HDFS上運行MySQL兼容的數據庫,那麼請查看InfiniDB。
http://infinidb.co/

我們是MySQL的柱狀MPP數據庫引擎可以坐在ontop的,我們寫IDB文件(我們已優化的文件類型)HDFS的。然後,您可以使用MySQL查詢對您的數據執行分析式樣搜索,並獲得羣集中的性能(甚至單臺機器都可以提高性能)。您還可以使用sqoop與InfiniDB數據庫中的數據進行交互,以提供Hadoop生態系統的交互。