有沒有辦法將MapReduce作業的輸出導入到SQL表中？

有沒有辦法將MapReduce作業的輸出導入到SQL表中？有沒有辦法將MapReduce作業的輸出導入到SQL表中？

我想知道是否可以自動將MapReduce作業（MapReduce作業應該負責導出）的輸出導入到SQL表（MySQL，Oracle等）中。

我知道Sqoop可以作爲一個工具使用，但它可以用於MR工作嗎？

2014-06-27 diplomaticguru

http://stackoverflow.com/questions/18351475/storing-apache-hadoop-data-output-to-mysql-database有一個接受的答案，這樣做與MySQL作爲目標數據庫。 – mc110

非常感謝mc110的鏈接:-) – diplomaticguru

除非您在reducer中編寫了一些代碼，而不是將輸出寫入上下文，它通過JDBC連接到SQL表並插入它（這將是一個非常糟糕的想法），您唯一可以做的是使用Oozie自動執行MapReduce作業，然後使用Sqoop執行插入。 Oozie是一個工作流調度程序，可以自動執行所有這些操作。你可以找到更多關於它的信息here。

來源

2014-06-27 12:10:02 Balduz

非常感謝Balduz分享一些有用的信息。 – diplomaticguru

有沒有辦法將MapReduce作業的輸出導入到SQL表中？

回答

相關問題