嘗試運行配置單元時出錯

我已經在aws ec2 Ubuntu 14.04實例的Hadoop（2.7.3）上安裝了配置單元（2.1.1）。早些時候，我通過只輸入命令start-all.sh和分羣現在當我嘗試我做我得到錯誤的波紋管嘗試運行配置單元時出錯

_Logging使用初始化配置罐中能夠啓動蜂巢：文件：在/ usr/local/hive/lib/hive-common-2.1.1.jar！/hive-log4j2.properties Async：true 線程「main」中的異常java.lang.RuntimeException：org.apache.hadoop.ipc.RemoteException（org。 apache.hadoop.hdfs.server.namenode.SafeModeException）：無法創建目錄/ tmp/hive/hduser/77c5347f-bcdb-452b-9a99-86f45827933a。名稱節點處於安全模式。 NN上資源不足。請添加或釋放更多資源，然後手動關閉安全模式。注意：如果在添加資源之前關閉安全模式，NN將立即返回到安全模式。使用「hdfs dfsadmin -safemode leave」關閉安全模式。在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode（FSNamesystem.java:1327）在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs（FSNamesystem.java:3895）在org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs（NameNodeRpcServer.java:984）在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs（ClientNamenodeProtocolServerSideTranslatorPB.java:622）在org.apache。 hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod（ClientNamenodeProtocolProtos.java）在org.apache.hadoop.ipc.ProtobufRpcEngine $服務器$ ProtoBufRpcInvoker.call（ProtobufRpcEngine.java:616）在org.apache.hadoop .ipc.RPC $ Server.call（RPC.java:982） at org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2049） at org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2045） at java。 security.AccessController.doPrivileged（Native Method） at javax.security.auth.Subject.doAs（Subject.java:415） at org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1698） at org .apache.hadoop.ipc.Server $ Handler.run（Server.java:2043）

at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:591) 
    at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:531) 
    at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:705) 
    at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:641) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

產生的原因：org.apache.hadoop.ipc.RemoteException（org.apache.hadoop.hdfs.server.namenode .SafeModeException）：無法創建目錄/ tmp/hive/hduser/77c5347f-bcdb-452b-9a99-86f45827933a。名稱節點處於安全模式。 NN上資源不足。請添加或釋放更多資源，然後手動關閉安全模式。注意：如果在添加資源之前關閉安全模式，NN將立即返回到安全模式。使用「hdfs dfsadmin -safemode leave」關閉安全模式。在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode（FSNamesystem.java:1327）在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs（FSNamesystem.java:3895）在org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs（NameNodeRpcServer.java:984） at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs（ClientNamenodeProtocolServerSideTranslatorPB.java:622） at org.apache。 hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod（ClientNamenodeProtocolProtos.java）在org.apache.hadoop.ipc.ProtobufRpcEngine $服務器$ ProtoBufRpcInvoker.call（ProtobufRpcEngine.java:616）在org.apache.hadoop .ipc.RPC $ Server.call（RPC.java:982） at org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2049） at org.apache.hadoop.ipc.Server $ Handler $ 1.run（Server.java:2045） at java。 security.AccessController.doPrivileged（Native Method） at javax.security.auth.Subject.doAs（Subject.java:415） at org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation。Java的：1698）在org.apache.hadoop.ipc.Server $ Handler.run（Server.java:2043）

at org.apache.hadoop.ipc.Client.call(Client.java:1475) 
    at org.apache.hadoop.ipc.Client.call(Client.java:1412) 
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229) 
    at com.sun.proxy.$Proxy30.mkdirs(Unknown Source) 
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:558) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:191) 
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102) 
    at com.sun.proxy.$Proxy31.mkdirs(Unknown Source) 
    at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3000) 
    at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:2970) 
    at org.apache.hadoop.hdfs.DistributedFileSystem$21.doCall(DistributedFileSystem.java:1047) 
    at org.apache.hadoop.hdfs.DistributedFileSystem$21.doCall(DistributedFileSystem.java:1043) 
    at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) 
    at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:1043) 
    at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:1036) 
    at org.apache.hadoop.hive.ql.session.SessionState.createPath(SessionState.java:732) 
    at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:655) 
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:563) 
    ... 9 more

那麼如何解決它（我試過HDFS dfsadmin -safemode離開），但沒有用

來源

2017-05-09 Rudresh

檢查hdfs上的可用磁盤空間。 – philantrovert

謝謝@philantrovert我的磁盤空間很低，所以我釋放了一些空間，並能夠順利啓動配置單元 – Rudresh

我的磁盤空間低，我的HDFS已經客滿，我打掃HDFS，並能啓動蜂巢順利

我嘗試下面的命令

HDFS dfsadmin -report

HDFS dfsadmin -safemode離開

HDFS DFS -rm -R 「目錄名，其中，含有垃圾-文件」

特別感謝@philantrovert :)

來源

2017-05-09 15:18:29 Rudresh

如果目錄包含，您可能需要使用'hdfs dfs -rm -r -skipTrash/hdfs/path/to/dir'你根本不需要的數據。否則，所有被刪除的文件將累積在您的/ user//.Trash'目錄下 – philantrovert

嘗試運行配置單元時出錯

回答

相關問題