2015-03-19 53 views
1

的OpsCenter版本創建一個新的卡桑德拉集羣隨機故障4.6.0使用的OpsCenter

創建直接使用的OpsCenter一個全新的產業集羣,爲我們提供了以下錯誤。它隨機使用相同的設置,但有95%的時間出現同樣的錯誤。 Opscenter運行在自己的盒子上,但與羣集實例共享相同的安全組。爲了好的措施,我打開了所有IP的所有TCP端口。以下是來自opscenterd.log的錯誤的堆棧跟蹤:

* 2015-03-19 10:06:12 + 0000 []信息:正在啓動配置過程 2015-03-19 10:06:12 +0000 []信息:啓動羣集配置的安裝階段

2015-03-19 10:06:13 + 0000 []警告:HTTP請求http://10.x.x.x:61621/alive?失敗:連接被另一方拒絕:111:連接被拒絕。

2015年3月19日10:06:13 + 0000 [] INFO:開始安裝OpsCenter劑與54.xxx

2015年3月19日10:06:26 + 0000 [] WARN:HTTP要求http://10.x.x.x:61621/alive?失敗:連接被另一方拒絕:111:連接被拒絕。

2015-03-19 10:06:31 + 0000 [] INFO:Agent for ip 10.xxx is version無 2015-03-19 10:06:31 + 0000 [] INFO:Agent for ip 10 .xxx是版本u'5.1.0' 2015-03-19 10:07:23 + 0000 []信息:在節點10.xxx上成功安裝代理程序和dse

2015-03-19 10:07: 23 + 0000 []信息:集羣配置開始「停止」階段

2015-03-19 10:07:25 + 0000 [] WARN:標記請求'10 .xxx:/ ops/stop'(f6708fa2- b45f-42b4-b992-90a82b460ac7)失敗:/ usr/sbin/service dse停止失敗

exit status: 1 
    stdout: 
    log_daemon_msg is a shell function 
    Cassandra 2.0 and later require Java 7 or later. 

2015年3月19日10:07:25 + 0000 []錯誤:無法停止節點10.xxx:/ usr/sbin目錄/服務DSE停止失敗

exit status: 1 
    stdout: 
    log_daemon_msg is a shell function 
    Cassandra 2.0 and later require Java 7 or later. 

2015年3月19日10 :07:25 + 0000 [] WARN:標記請求'停止階段'(0b6fcb6b-96ba-404e-a484-b4b6b167b309)失敗:無法停止節點10.xxx:/ usr/sbin/service dse停止失敗

exit status: 1 
    stdout: 
    log_daemon_msg is a shell function 
    Cassandra 2.0 and later require Java 7 or later. 

2015-03-19 10:07:25 + 0000 []錯誤:停止階段失敗:無法停止節點10.xxx:/ usr/sbin/service dse停止失敗

exit status: 1 
    stdout: 
    log_daemon_msg is a shell function 
    Cassandra 2.0 and later require Java 7 or later. 

2015年3月19日10:07:25 + 0000 [] WARN:標記爲失敗的請求 '提供'(daf1c15d-92e3-40b0-83ca-34d548ea835b):停止階段失敗:無法停止節點10 .XXX:/ usr/sbin目錄/服務DSE停止失敗

exit status: 1 
    stdout: 
    log_daemon_msg is a shell function 
    Cassandra 2.0 and later require Java 7 or later. 

2015年3月19日10:07:25 + 0000 [] ERROR: 2015年3月19日10:07:25 + 0000 []錯誤:羣集配置失敗:異常:停止階段失敗:無法停止節點10.xxx:/ usr/sbin目錄/服務DSE停止失敗

exit status: 1 
    stdout: 
    log_daemon_msg is a shell function 
    Cassandra 2.0 and later require Java 7 or later. 

2015-03-19 10:07:25 + 0000 []錯誤:配置集羣失敗:集羣配置失敗:異常:停止階段失敗:無法停止節點10.x.x.X:/ usr/sbin目錄/服務DSE停止失敗

exit status: 1 
    stdout: 
    log_daemon_msg is a shell function 
    Cassandra 2.0 and later require Java 7 or later. 

2015年3月19日10:07:25 + 0000 [] WARN:標記爲失敗請求28c021fd-D21A-4fed-bb5c-a4fe17d362e0:羣集配置失敗:異常:停止階段失敗:無法停止節點10.xxx:/ usr/sbin目錄/服務DSE停止失敗

exit status: 1 
    stdout: 
    log_daemon_msg is a shell function 
    Cassandra 2.0 and later require Java 7 or later. 

2015年3月19日10:07:41 + 0000 [] WARN:無法找到與IP [u'fe80:0:0:0:20​​00:aff:feeb:31c7%2',u'10.xxx',u'0:0:0:0:0: 0:0:1%1',u'127.0.0.1'];該消息是[u'5.1.0',u'/ 1947480708/conf']。這通常表示OpsCenter代理仍舊在已停用的舊節點上運行,或者是OpsCenter不再監視的集羣的一部分。

感謝任何幫助! 在此先感謝 Harsha

+0

只是想補充一點,所有這一切都是在亞馬遜。另外,我正在使用Opscenter提供的默認AMI。 (ami id - 814ec2e8),所以關於Java 7等的錯誤增加了一些混淆,因爲所有這些都是DSE默認的,預裝了軟件。 – 2015-03-19 10:24:07

+0

您確定您使用的是默認AMI嗎? 814ec2e8是一個較舊的版本(2013年更新),而OpsCenter 5.1默認使用ami-6139e708。 – arre 2015-03-20 08:15:41

+0

ami-814ec2e8是的,這是ID ..我甚至升級到5.1.1。我添加一個新的羣集或節點顯示相同。 – 2015-04-16 11:02:53

回答

0

如果它只是抱怨java然後安裝Java 7最好datastax希望甲骨文jdk和jre。您的節點上可能已經有了Java 7和另一個版本,但是Java 7並不是默認版本。要改變這種做:

sudo update-java-alternatives -s java-7-oracle 

這也是讓你不必登錄到每個節點

+0

感謝您的快速響應。這是一個奇怪的部分,我用來啓動cassandra集羣的ami默認由OpsCenter提供。這就像各種設備。即插即用。 http://aws.amazon.com/amis/datastax-auto-clustering-ami-2-2 如果我將不得不手動介入使用OpsCenter啓動節點,則整個目的將會失敗。但讓我試試你的建議,並回到這裏..再次感謝。 – 2015-03-19 13:58:42

+0

實際上,如果其準備就緒並且您也有連接被拒絕的問題,則可能需要檢查分配給您的實例的安全組,以便cassandra可以使用所需端口的端口規則 – dtrihinas 2015-03-19 14:14:03

+0

My Security Group已打開所有TCP端口到0.0.0.0/0。 Opscenter和cassandra節點都屬於同一個安全組,所以他們應該能夠彼此交談而沒有問題。我也能夠從Opscenter到Cassandra節點的那個61621端口telnet,例如 – 2015-03-19 14:18:29

6

OpCenter開發商在這裏一個命令就可以腳本使用ssh運行。我使OpsCenter配置功能變爲縮放(或者您偶爾會看到啪嗒聲)。我必須告訴你,你正在碰到一個錯誤,這是悲傷和恥辱。

OpsCenter配置使用的Datastax AMI版本2.4(https://github.com/riptano/ComboAMI/tree/2.4)在啓動時通過啓動腳本執行了相當多的工作。其中一項任務是設置一些用於驗證軟件包的gpg存儲庫密鑰。間歇性地,該進程可能會失敗,破壞軟件包安裝並導致您看到的一系列錯誤。這種故障是間歇性的,最近頻率大大增加。如果您檢查/home/ubuntu/datastax-ami/ami.log,您應該會看到以失敗鏈的其餘部分開始的gpg密鑰失敗。

不幸的是,這個錯誤離技術堆棧很遠,很難手動解決。如果您只需配置一個羣集,則可以重試,直到您獲得良好運行。否則,你最好最好是手動啓動的情況下,並使用本地供應到DSE/DSC部署到各自的私有IP地址:使用AMI-ada2b6c4

  • 啓動情況下(假設你是在美國東部-1)
    • 確保將實例添加到OpsCenterSecurity組。
    • 請確保您擁有您使用的私鑰的一半(在本地配置期間您將需要它)
    • 在實例數據頁面上,點擊高級下拉菜單並將以下userdata添加爲文本「--raidonly - -java7"
  • 做對私營IP的

不是一個超級簡單的解決方法本地置備運行。我希望這次與OpsCenter的經驗更加棒。好消息是我在這個bug中,它將在即將發佈的版本中得到修復。

編輯:不再需要手動刪除/etc/security/limits.d/cassandra.conf

+1

Hi Mike。 Opscenter工具非常棒,並感謝您的迴應。這個bug是否在Opscenter 5.1.1中修復?我很樂意能夠使用Opscenter輕鬆配置羣集。我用5.1.1試了幾次,但沒有再給我那個錯誤。此外,作爲功能請求,請向opscenter提供在亞馬遜VPC上創建cassandra節點和羣集的選項。 – 2015-04-16 11:13:11

+0

此修復程序未被推送,並且當它發佈時,它不會成爲發行版,而是一個自動下載的配置文件。當我把它拿出來時,我會在這裏平靜下來,在我們烘烤新的AMI之前,我們想要降落在ComboAMI上的社區有一些很好的貢獻。至於VPC,我不能談論潛在的未來功能,但我們知道這是人們想要的東西,所以請關注更新日誌。 – 2015-04-27 13:12:44

+0

本地供應方法給出同樣的問題 錯誤[初始化]通過JMX連接的錯誤:java.io.IOException:無法檢索RMIServer存根javax.naming.ServiceUnavailableException [根異常是java.rmi.ConnectException:連接拒絕主機:127.0。 0.1;嵌套異常是java.net.ConnectException:連接被拒絕] INFO [main]創建stomp連接到172.31.19.2:61620信息[StompConnection receiver]重新連接0信息[初始化]啓動Jetty服務器:{:join?假,:ssl? false,:host nil,:port 61621} – 2015-09-03 08:43:53