以下是其中一個容器的日誌轉儲。我收到了一個異常,指出由於某些權限,無法創建文件夾。我已經排除了各種各樣的時間,但仍然存在。無法創建具有適當權限的臨時目錄:/ mnt1/s3
16/12/19 9時44分05秒WARN ConfigurationUtils:/ mnt1上/ S3
java.nio.file.AccessDeniedException:不能與 適當的權限創建臨時目錄/ mnt1上在 的太陽。 nio.fs.UnixException.t這裏 ranslateToIOException(UnixException.java:84)at sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:102) at sun.nio.fs.UnixException.rethrowAsIOException(UnixException。 java:107) at sun.nio.fs.UnixFileSystemProvider.createDirectory(UnixFileSystemProvider .java:384) at java.nio.file.Files.createDirectory(Files.java:674)at java.nio.file.Files.createAndCheckIsDirectory(Files.java:781)at java.nio.file.Files .createDirectories(Files.java:767)at com.amazon.ws.emr.hadoop.fs.util.ConfigurationUtils.getTestedTempPaths(ConfigurationUtils.java:224) at com.amazon.ws.emr.hadoop.fs。 s3n.S3NativeFileSystem.initialize(S3NativeFileSystem.java:449) 在 com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem.java:111) 在 org.apache.hadoop.fs.FileSystem。創建文件系統(FileSystem.java:2717) at org.apache.hadoop.fs.FileSystem.access $ 200(FileSystem.java:93)at org.apac he.hadoop.fs.FileSystem $ Cache.getInternal(FileSystem.java:2751) at org.apache.hadoop.fs.FileSystem $ Cache.get(FileSystem.java:2733)at org.apache.hadoop.fs。 FileSystem.get(FileSystem.java:377)at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:230) 在 org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:201)
你有沒有得到一個解決這個問題?我們遇到了同樣的問題。另見https://forums.aws.amazon.com/thread.jspa?threadID=57967,看起來相似 – scubbo
我沒有具體的答案。因爲當我創建一個新的羣集時,這個問題會自動解決。對我而言,這是一個特定於羣集的問題。我想你可以比較hadoop和紗線的所有配置文件。我試過,我發現幾點不同。但很久以前我不記得它現在 –