2017-03-07 175 views
1

當我試圖複製AWS S3桶到HDFS,我發現了錯誤:錯誤:權限被拒絕:'/用戶

Permission denied: '/user'

下面是我的腳本

aws s3 sync s3://folder1.folder2/file.json /user/hive/warehouse/my.db/json_table 

請幫忙 !

回答

0

S3 sync不識別HDFS路徑。

要麼使用,

  • hadoop distcp配置後,所有的S3相關properties
  • S3DistCp,這需要s3distcp.jar
  • 如果文件很小,則sync將文件保存到localpath,copyFromLocal保存到HDFS。
+0

我一直在使用'sync',但如果使用'S3Distcp',我可以減少將數據從S3移動到HDFS的步驟。我沒有安裝s3distcp jar,但它給我一個錯誤。 – GOU7HAM

+0

如果您擁有'AWS_ACCESS_KEY'和'AWS_SECRET_ACCESS_KEY',則可以使用Distcp本身。關於's3distcp'的錯誤,您可以在發佈整個堆棧跟蹤時打開一個新問題。 – franklinsijo