2013-04-01 25 views
-2

我們有應用程序,其中包含我們每天不斷提及的事務數據的一個表。它有數百萬行。顯然,查詢該表非常緩慢。正常的數據庫表的大數據創建

有沒有什麼辦法可以通過該表創建bigdata並使用hadoop和相關技術來查詢結果?

+0

「它擁有數百萬行顯然查詢該表是很慢的。」 - 那麼你可能會錯誤地做一些事情。你有合適的索引嗎?「 –

回答

0

您可以使用Apache Sqoop在Hadoop中導入大數據庫。 每日結束時(或按照您自己的Scheule),您可以將已完成的交易導入到您加載的現有數據庫中。因此,通過這種方式,您每天都會添加事務以在Hadoop中存在數據。

技術,你需要看到

Sqoop:從數據庫 蜂巢導入數據:爲SQL一樣的界面來查詢數據搜索的Apache蜂巢 Oozie的:要shedule的工作,每天的數據導入。搜索Apache oozie Sqoop具有可以使用的增量加載功能。

除了蜂巢,你可以用黑斑羚查詢數據,它的工作原理非常快