2013-06-13 176 views
1

我試圖以編程方式加載一個dynamodb表格到HDFS(通過java和不是配置單元),我不能找到如何做到這一點在線例子,所以認爲我下載包含org.apache.hadoop.hive.dynamodb的jar並反向設計進程。jar包含org.apache.hadoop.hive.dynamodb

不幸的是,我無法找到該文件,以及:(。

有人能爲我解答以下問題(按優先順序排列)。

加載一個dynamodb
  1. Java示例表到HDFS(可傳遞給映射器作爲表輸入格式)。含org.apache.hadoop.hive.dynamodb
  2. 罐子。

謝謝!

回答

0

1-我不知道有這樣的例子,但您可能會發現這個library有用。它提供了用於讀寫數據到Amazon DynamoDB表的InputFormats,OutputFormats和Writable類。

2-我不認爲他們已經公開提供它。

+0

感謝您的信息塔裏克! (特別是2)。幫助拯救了我幾個小時的生活:) – n915

1

它在hive-bigbird-handler.jar。不幸的是,AWS不提供任何關於它的來源或至少Java Doc。但你可以找到一個EMR集羣的任何節點上的jar:

/home/hadoop/.versions/hive-0.8.1/auxlib/hive-bigbird-handler-0.8.1.jar 

您可能要結帳這篇文章:

不幸的是,亞馬遜還沒有發佈了 hive-bigbird-handler.jar的源代碼,考慮到它的實用性,這是一個恥辱。 特別值得一提的是,它似乎還包含對Hadoop的輸入和輸出格式 的內置支持,因此您可以直接在 上寫直接寫入DynamoDB的MapReduce作業。

提示:搜索hive-bigbird-handler.jar去有趣的部分... ;-)