2016-12-19 81 views
5

以下是其中一個容器的日誌轉儲。我收到了一個異常,指出由於某些權限,無法創建文件夾。我已經排除了各種各樣的時間,但仍然存在。無法創建具有適當權限的臨時目錄:/ mnt1/s3

16/12/19 9時44分05秒WARN ConfigurationUtils:/ mnt1上/ S3

java.nio.file.AccessDeniedException:不能與 適當的權限創建臨時目錄/ mnt1上在 的太陽。 nio.fs.UnixException.t這裏 ranslateToIOException(UnixException.java:84)at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102) at sun.nio.fs.UnixException.rethrowAsIOException(UnixException。 java:107) at sun.nio.fs.UnixFileSystemProvider.createDirectory(UnixFileSystemProvider .java:384) at java.nio.file.Files.createDirectory(Files.java:674)at java.nio.file.Files.createAndCheckIsDirectory(Files.java:781)at java.nio.file.Files .createDirectories(Files.java:767)at com.amazon.ws.emr.hadoop.fs.util.ConfigurationUtils.getTestedTempPaths(ConfigurationUtils.java:224) at com.amazon.ws.emr.hadoop.fs。 s3n.S3NativeFileSystem.initialize(S3NativeFileSystem.java:449) 在 com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem.java:111) 在 org.apache.hadoop.fs.FileSystem。創建文件系統(FileSystem.java:2717) at org.apache.hadoop.fs.FileSystem.access $ 200(FileSystem.java:93)at org.apac he.hadoop.fs.FileSystem $ Cache.getInternal(FileSystem.java:2751) at org.apache.hadoop.fs.FileSystem $ Cache.get(FileSystem.java:2733)at org.apache.hadoop.fs。 FileSystem.get(FileSystem.java:377)at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:230) 在 org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:201)

+0

你有沒有得到一個解決這個問題?我們遇到了同樣的問題。另見https://forums.aws.amazon.com/thread.jspa?threadID=57967,看起來相似 – scubbo

+0

我沒有具體的答案。因爲當我創建一個新的羣集時,這個問題會自動解決。對我而言,這是一個特定於羣集的問題。我想你可以比較hadoop和紗線的所有配置文件。我試過,我發現幾點不同。但很久以前我不記得它現在 –

回答

0

你應該使用相同的實例類型,你的主人和任務/核心節點

見: https://forums.aws.amazon.com/thread.jspa?threadID=57967

+0

** @ Tomer **我已經在''master','core'和'task'節點上使用相同的實例類型['r3.xlarge'] EMR 5.12.0',並且在運行我的作業['Spark 2.3.0']時仍然遇到這個錯誤(儘管只是偶爾出現;也就是說,這個錯誤有時會出現)。我的'master','task'和'core'具有這些配置:'8 vCore','30.5 GiB'內存,'80 SSD GB'存儲,'EBS'存儲:'32 GiB';有一個例外:'任務'沒有任何'EBS'存儲 –

相關問題