我想將mysql與hadoop中的項目集成在一起。我搜索了很多不同的方法,有兩種方法:實時使用「用於hadoop的mysql應用程序」和「apache sqoop」用於非實時用途。
我發現Gora也有這個能力,但我找不到任何有關如何去做的信息。
Gora是否真正的時間? gora和mysql applier或sqoop有什麼區別?
對於hadoop和mysql的集成,它是否需要任何nosql db作爲接口?Apache Gora vs mysql applier和sqoop
回答
此時Gora的SQL模塊因爲某些問題而被禁用。它不能滿足您的需求:(待機......在未來的版本將被再次啓用
無論如何,一些解釋關於戈拉:。
戈拉是一個對象映射(未明確關係),我們可以說它重點關注NoSQL,直到SQL模塊重新啓動...
我發現Gora是一個在後端擁有NoSQL並能夠以結構化格式獲取數據作爲對象的好工具。
這是真的嗎?gora和mysql applie有什麼區別? r或sqoop?
這是,但我想這不是你在想什麼。它不是一個實時自動獲取工具,它不是一個自動插入工具,它不是一個解析器和插入,不是一個過濾器,不是一個...
它是Hadoop和一個可配置的數據存儲(考慮像Hibernate這樣的ORM)。
對於hadoop和mysql的集成,它是否需要任何nosql db作爲接口?
將它與Hadoop集成非常簡單,就像配置Hadoop使用GoraMapper
一樣簡單。您會得到一張地圖,其中包含對象(從您配置的NoSQL存儲庫映射)。
不久將與豬和級聯整合,我覺得:)
而我的建議是:如果你想從/到MySQL閱讀,看看Pig和Hive,雖然他們不是「實時「(你的意思是在MySQL中插入一行後立即寫入HDFS?)。
我希望這會有所幫助。
您是否試圖將MySQL實例中的數據寫入HDFS?您希望寫入HDFS以使數據可用於其他Hadoop實用程序的原因是什麼?在這種情況下,您可能希望數據採用某些兼容的格式,如Text,SequenceFile,ORC,Parquet等...
您是否試圖通過MySQL進行查詢並希望它在HDFS中查詢數據?
我是InfiniDB的架構師
如果您正在研究擴展您的數據並希望在HDFS中使用它,並且希望在HDFS上運行MySQL兼容的數據庫,那麼請查看InfiniDB。
http://infinidb.co/
我們是MySQL的柱狀MPP數據庫引擎可以坐在ontop的,我們寫IDB文件(我們已優化的文件類型)HDFS的。然後,您可以使用MySQL查詢對您的數據執行分析式樣搜索,並獲得羣集中的性能(甚至單臺機器都可以提高性能)。您還可以使用sqoop與InfiniDB數據庫中的數據進行交互,以提供Hadoop生態系統的交互。
- 1. HBase上的Apache Gora
- 2. 的Apache Sqoop和Spark
- 3. Apache sqoop錯誤
- 4. WAMP vs單獨安裝PHP,Apache和MySQL
- 5. 使用Apache Sqoop將數據從MySQL導入到MySQL
- 6. 的Apache Sqoop增量導入
- 7. usql applier和腳本的單元測試
- 8. Accumulo Gora映射Array/HashMap
- 9. Oracle Hadoop連接器vs Sqoop
- 10. Spring-ws VS Apache cxf VS Apache Axis2 VS Metro
- 11. gora-mongodb.mapping.XML屬性文件
- 12. Apache Gora - 創建hbase數據存儲時的java.net.MalformedURLException
- 13. 用Mysql配置Sqoop?
- 14. 在Apache Hadoop和Cloudera Hadoop中安裝Apache apache sqoop有什麼區別?
- 15. XAMPP - Apache和MySQL
- 16. Apache Spark vs Apache Ignite
- 17. apache derby vs mysql有什麼區別
- 18. sqoop和oracle問題?
- 19. 使用Sqoop從MySQL導入到Hive
- 20. WordPress,Apache,Mysql和Mac
- 21. apache sqoop安裝缺少addtowar腳本
- 22. OpenAdaptor vs Apache Camel
- 23. sqoop導出mysql分區
- 24. cloudera manager vs Apache
- 25. Apache Helix vs YARN
- 26. Apache Spark:map vs mapPartitions?
- 27. Postfix vs. Apache James
- 28. LiteSpeed vs Apache httpd
- 29. XSOM vs Apache XmlSchema
- 30. Apache Spark vs Apache Spark 2
謝謝阿方爲你的偉大的解釋。我理解戈拉要好得多。關於實時性,我的意思是在程序執行期間在MySQL中寫入並在HDFS中寫入。 – user3318731
如果你問,如果你可以在任何應用程序中使用它,答案是肯定的,你可以計劃的任何應用程序,並使用戈拉訪問的數據存儲。它不是Hadoop專有的。 –