如何在Amazon S3上配置存儲的hadoop 1.2.1？

Question

我試圖通過遵循這個wiki http://wiki.apache.org/hadoop/AmazonS3將以下內容放入我的core-site.xml文件中，但是我的hadoop無法與S3n建立連接。我在EC2集羣上部署了hadoop 1.2.1。使用S3存儲配置Hadoop的正確方法是什麼？非常感謝！

<property> 
    <name>fs.default.name</name> 
    <value>s3://BUCKET</value> 
</property> 

<property> 
    <name>fs.s3.awsAccessKeyId</name> 
    <value>ID</value> 
</property> 

<property> 
    <name>fs.s3.awsSecretAccessKey</name> 
    <value>SECRET</value> 
</property> 

Answer 1

您是否嘗試在您的配置中將s3替換爲s3n？

試試這個：

<property> 
     <name>fs.default.name</name> 
     <value>s3n://BUCKET</value> 
    </property> 

    <property> 
     <name>fs.s3n.awsAccessKeyId</name> 
     <value>ID</value> 
    </property> 

    <property> 
     <name>fs.s3n.awsSecretAccessKey</name> 
     <value>SECRET</value> 
    </property> 

順便說那裏是S3和S3N here

此外，您可能需要啓動和停止HDFS集羣（不知道有之間的差異很大的解釋需要啓動它，因爲我們不再使用它）。