將數據傳遞給映射器

Question

我有幾個不支持JDBC的數據庫，但我可以從這些數據庫中檢索數據。我想通過mapreduce程序將這些數據傳遞給mapper。我努力從「mapreduce.lib.DB」包中的源文件中找出一些東西，但我覺得缺少某些東西。任何人都可以告訴我如何將數據庫的輸出傳遞給映射器？

Answer 1

我認爲你需要Sqoop。

首先，您必須使用sqoop import命令將數據從rdbms傳輸到hdfs。

稍後您將編寫一個mapreduce程序，該程序將輸入路徑作爲方法setInputpath的參數。

Answer 2

一種簡單的方法是將數據從數據庫批量導出到文件中，將文件放入HDFS中並使用FileInputFormat讀取HDFS中的文件並對其進行處理。