2016-11-11 74 views
0

我有hadoop 2.7.3和hbase 1.2.3。我試圖在正式文檔之後以僞分佈模式運行hbase。我只有一臺機器。 HDFS運行良好。HBase HRegionServer無法啓動

但是,問題是當我執行start-hbase.sh,HRegionServer啓動但自動退出。我可以看到HMaster和HQuorumPeer仍在那裏。

從日誌中,我認爲hbase創建了一個文件/hbase/WALs/ubuntuserver,16201,1478832152563/ubuntuserver%2C16201%2C1478832152563..meta.1478832162907.meta但沒有權限將內容追加到文件中。當前用戶是'root'組中的'ubuntuserver'。我已將hdfs上的所有文件夾更改爲'ubuntuserver'和'root'。並做了'hdfs dfs -chmod -R 777 /'。並重新啓動linux,hdfs然後hbase。它不起作用。每次HResionServer啓動它時都會創建一個新文件,因此沒有權限添加到它。

這裏是HRegionServer的日誌。如何解決這個問題?

2016年11月11日11:13:44774 INFO [RS_OPEN_META-ubuntuServer:16201-0-MetaLogRoller] regionserver.HRegionServer:STOPPED:失敗日誌接近日誌輥 2016年11月11日11: 13:44,774信息 [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.SplitLogWorker:發送中斷來停止worker 線程2016-11-11 11:13:44,775 INFO [regionserver/ubuntuServer/10.0.2.15: 16201] regionserver.HRegionServer:停止infoServer 2016-11-11 11:13:44,776信息[SplitLogWorker-ubuntuServer:16201] regionserver.SplitLogW orker:SplitLogWorker中斷。退出。 2016年11月11日11:13:44776 INFO [SplitLogWorker-ubuntuServer:16201] regionserver.SplitLogWorker:SplitLogWorker ubuntuserver,16201,1478834015515退出2016年11月11日11:13:44780 INFO [RS_OPEN_META-ubuntuServer:16201 -0-MetaLogRoller] regionserver.LogRoller:LogRoller退出。 2016-11-11 11:13:44,805 INFO [regionserver/ubuntuServer/10.0.2.15:16201] mortbay.log:已停止 [email protected]:16301 2016-11-11 11:13:44,810 INFO [regionserver /ubuntuServer/10.0.2.15:16201] regionserver.HeapMemoryManager:Stoping HeapMemoryTuner雜事。 2016年11月11日11:13:44810 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201] flush.RegionServerFlushTableProcedureManager:停止區域服務器 沖洗程序管理器突然。 2016-11-11 11:13:44,810信息 [regionserver/ubuntuServer/10.0.2.15:16201] snapshot.RegionServerSnapshotManager:突然停止 RegionServerSnapshotManager。 2016-11-11 11:13:44,810 INFO [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.HRegionServer:aborting server ubuntuserver,16201,1478834015515 2016-11-11 11:13:44,811 INFO [regionserver /ubuntuServer/10.0.2.15:16201] client.ConnectionManager $ HConnectionImplementation:關閉動物園管理員 的sessionid = 0x158516036c10005 2016年11月11日11:13:44813 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201-EventThread] 動物園管理員。 ClientCnxn:EventThread關閉2016-11-11 11:13:44,814 INFO [regionserver/ubuntuServer/10.0.2.15:16201] zookeeper.ZooKeeper: Session:0x158516036c10005關閉2016-11-11 11:13:44,814信息 [ RegionServer的/ ubuntuServer/10.0.2.15:1620 1] regionserver.HRegionServer:停止服務器 ubuntuserver,16201,1478834015515;所有地區關閉。2016年11月11日 11:13:44810 INFO [MemStoreFlusher.0] regionserver.MemStoreFlusher: MemStoreFlusher.0退出2016年11月11日11:13:44820 INFO [MemStoreFlusher.1] regionserver.MemStoreFlusher:MemStoreFlusher.1 退出2016-11-11 11:13:44,814 WARN [regionserver/ubuntuServer/10.0.2.15:16201] wal.ProtobufLogWriter: 未能寫預告片,非致命的,正在繼續... java.nio.channels。 ClosedChannelException 在org.apache.hadoop.hdfs.DFSOutputStream.checkClosed(DFSOutputStream.java:1538) 在org.apache.hadoop.fs.FSOutputSummer.write(FSOutputSummer.java:98) 在org.apache.hadoop.fs .FSDataOutputStream $ PositionCache.write(FSDataOutputStream.java:58) at (CodedOutputStream.java:833) com.google.protobuf.CodedOutputStream.flush(CodedOutputStream.java:843) at com.google.protobuf.AbstractMessageLite.writeTo(AbstractMessageLite.java:80) at org.apache.hadoop.hbase.regionserver.wal.ProtobufLogWriter.writeWALTrailer(ProtobufLogWriter.java:157) at org.apache.hadoop。 hbase.regionserver.wal.ProtobufLogWriter.close(ProtobufLogWriter.java:130) at org.apache.hadoop.hbase.regionserver.wal.FSHLog.shutdown(FSHLog.java:1079) at org.apache.hadoop.hbase。 wal.DefaultWALProvider.shutdown(DefaultWALProvider.java:114) 在org.apache.hadoop.hbase.wal.WALFactory.shutdown(WALFactory.j ava:216) at org.apache.hadoop.hbase.regionserver.HRegionServer.shutdownWAL(HRegionServer.java:1315) at org.apache.hadoop.hbase.regionserver.HRegionServer.run(HRegionServer.java:1064) at java.lang.Thread.run(Thread.java:745)2016年11月11日11:13:44829 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201] regionserver.Leases:RegionServer的/ ubuntuServer/10.0.2.15:16201關閉 租約2016-11-11 11:13:44,829信息 regionserver /租賃服務器地址: regionserver/ubuntuServer/10.0.2.15:16201關閉租約2016-11-11 11: 13:44830 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201] hbase.ChoreService:用於家務服務: ubuntuserver,16201,1478834015515有[[ScheduledChore:名稱: ubuntuserver,16201,1478834015515-MemstoreFlusherChore期間:10000 單位:MILLISECONDS],[ScheduledChore:名稱:MovedRegionsCleaner爲 區域ubuntuserver,16201,1478834015515期間:120000單位: MILLISECONDS]在關機2016- 11-11 11:13:48,193 INFO [HBase-Metrics2-1] impl.MetricsSystemImpl:停止HBase度量 系統... 2016-11-11 11:13:48,194 INFO [HBase-Metrics2-1] impl。 MetricsSystemImpl:HBase度量標準系統已停止。 2016-11-11 11:13:48,695信息[HBase-Metrics2-1] impl.MetricsConfig:已加載 屬性來自hadoop-metrics2-hbase.properties 2016-11-11 11:13:48,708信息[HBase-Metrics2 -1] impl.MetricsSystemImpl: 計劃的快照週期爲10秒(s)。 2016-11-11 11:13:48,708 INFO [HBase-Metrics2-1] impl.MetricsSystemImpl:HBase度量系統 開始2016-11-11 11:13:50,001信息 [regionserver/ubuntuServer/10.0.2.15:16201 .logRoller] regionserver.LogRoller:LogRoller退出。 2016-11-11 11:13:50,002 INFO [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.CompactSplitThread:等待分割線程完成... 2016-11-11 11:13:50,002信息 [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.CompactSplitThread:等待合併線程完成... 2016-11-11 11:13:50,002信息 [regionserver/ubuntuServer/10.0.2。15:16201] regionserver.CompactSplitThread:等待大壓實主題 完成...二零一六年十一月十一日11:13:50002 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201] regionserver.CompactSplitThread:等待小型壓縮線程 完成... 2016-11-11 11:13:50,012信息 [regionserver/ubuntuServer/10.0.2.15:16201] ipc.RpcServer:停止 服務器上16201 2016-11-11 11:13: 50,012信息 [RpcServer.listener,port = 16201] ipc.RpcServer: RpcServer.listener,port = 16201:停止2016-11-11 11:13:50,017信息 [RpcServer.responder] ipc.RpcServer:RpcServer.responder :停止 2016-11-11 11:13:50,017 INFO [RpcServer.responder] ipc.RpcServer: RpcServer.responder:停止2016-11-11 11:13:50,016 INFO [regionserver/ubuntuServer/10.0.2.15:16201.leaseChecker] regionserver.Leases: regionserver/ubuntuServer/10.0.2.15:16201.leaseChecker關閉租約 2016年11月11日11:13:50026 INFO [RegionServer的/ ubuntuServer/10.0.2.15:16201.leaseChecker] regionserver.Leases: RegionServer的/ ubuntuServer/10.0.2.15:16201.leaseChecker關閉租賃 2016-11- 11 11:13:50,028 INFO [main-EventThread] zookeeper.ClientCnxn: EventThread關閉2016-11-11 11:13:50,029 INFO [regionserver/ubuntuServer/10.0.2.15:16201] zookeeper.ZooKeeper: Session: 0x158516036c10004已關閉2016-11-11 11:13:50,029 INFO [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.HRegionServer:停止服務器 ubuntuserver,16201,1478834015515; zookeeper連接關閉。 2016-11-11 11:13:50,029 INFO [regionserver/ubuntuServer/10.0.2.15:16201] regionserver.HRegionServer:regionserver/ubuntuServer/10.0.2.15:16201 退出2016-11-11 11:13:50,029 ERROR [主要] regionserver.HRegionServerCommandLine:地區服務器退出 了java.lang.RuntimeException:HRegionServer中止 在org.apache.hadoop.hbase.regionserver.HRegionServerCommandLine.start(HRegionServerCommandLine.java:68) 在org.apache.hadoop .hbase.regionserver.HRegionServerCommandLine.run(HRegionServerCommandLine.java:87) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.hadoop.hbase.util.ServerCommandLine.doMain (ServerCommandLine.java:126) 在org.apache.hadoop.hbase.regionserver.HRegionServer.main(HRegionServer.java:2665) 2016年11月11日11:13:50031 INFO [線程6] regionserver.ShutdownHook: 關閉鉤起動; hbase.shutdown.hook = TRUE; fsShu[email protected]18230356 2016-11-11 11:13:50,033 INFO [Thread-6] regionserver.ShutdownHook: 啓動fs shutdown hook線程。 2016-11-11 11:13:50,036錯誤 [線程-82] hdfs.DFSClient:無法關閉inode 16780 org.apache.hadoop.ipc.RemoteException(java.io.IOException):文件 /hbase/WALs/ubuntuserver,16201,1478834015515/ubuntuserver%2C16201%2C1478834015515..meta.1478834024410.meta 只能複製到0個節點而不是minReplication(= 1)。 此 操作中有1個數據節點正在運行,並且不包含任何節點。 在org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1571) 在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:3107) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3031) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer。Java的:725) 在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:492) 在org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod(ClientNamenodeProtocolProtos.java ) at org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616) at org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:982) at org .apache.hadoop.ipc.Server $處理器$ 1.run(Server.java:2049) 在org.apache.hadoop.ipc.Server $處理器$ 1.run(Server.java:2045) 在java.security.AccessController .doPrivileged(本機方法) 在javax.security.auth.Subject.doAs(Subject.java:422) 在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698) 在org.apache.hadoop.ipc.Server $ Handler.run(Server.java:2043)

at org.apache.hadoop.ipc.Client.call(Client.java:1411) 
    at org.apache.hadoop.ipc.Client.call(Client.java:1364) 
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206) 
    at com.sun.proxy.$Proxy16.addBlock(Unknown Source) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187) 
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102) 
    at com.sun.proxy.$Proxy16.addBlock(Unknown Source) 
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:368) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at org.apache.hadoop.hbase.fs.HFileSystem$1.invoke(HFileSystem.java:279) 
    at com.sun.proxy.$Proxy17.addBlock(Unknown Source) 
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1449) 
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1270) 
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:526) 

2016 -11-11 11:13:50057 INFO [線程6] regionserver.ShutdownHook: 關閉鉤結束。

回答

1

哦,我來回答自己提出的問題更多的時間。

的根本原因是沒有權限問題。這是存儲空間問題。我在擁有8G硬盤空間的虛擬機中部署了集羣。但現在是7.8G。

解決方案:重新創建的虛擬機200G硬盤空間。