2014-10-10 47 views
5

我想運行EC2上的Spark代碼來對照存儲在S3存儲桶中的數據。根據Spark EC2 documentationAmazon S3 documentation,我必須將我的AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY添加到core-site.xml文件。但是,當我進入我的主EC2節點時,會看到幾個core-site.xml文件。哪個core-site.xml添加我的AWS訪問密鑰?

$ find . -name core-site.xml 
./mapreduce/conf/core-site.xml 
./persistent-hdfs/share/hadoop/templates/conf/core-site.xml 
./persistent-hdfs/src/packages/templates/conf/core-site.xml 
./persistent-hdfs/src/contrib/test/core-site.xml 
./persistent-hdfs/src/test/core-site.xml 
./persistent-hdfs/src/c++/libhdfs/tests/conf/core-site.xml 
./persistent-hdfs/conf/core-site.xml 
./ephemeral-hdfs/share/hadoop/templates/conf/core-site.xml 
./ephemeral-hdfs/src/packages/templates/conf/core-site.xml 
./ephemeral-hdfs/src/contrib/test/core-site.xml 
./ephemeral-hdfs/src/test/core-site.xml 
./ephemeral-hdfs/src/c++/libhdfs/tests/conf/core-site.xml 
./ephemeral-hdfs/conf/core-site.xml 
./spark-ec2/templates/root/mapreduce/conf/core-site.xml 
./spark-ec2/templates/root/persistent-hdfs/conf/core-site.xml 
./spark-ec2/templates/root/ephemeral-hdfs/conf/core-site.xml 
./spark-ec2/templates/root/spark/conf/core-site.xml 
./spark/conf/core-site.xml 

一些實驗後,我決定,我只能從當添加我的憑據兩者的MapReduce/conf目錄/核心的site.xml和火花/ conf目錄/核心現場星火訪問S3N URL像s3n://mcneill-scratch/GR.txt。 XML。

這對我來說似乎是錯誤的。這不是DRY,我在文檔中找不到任何說你必須將憑證添加到多個文件的任何內容。

修改多個文件是通過core-site.xml設置s3憑證的正確方法嗎?是否有文檔解釋這個問題?

回答

-1

./spark/conf/core-site.xml應該是正確的地方

相關問題