Amazon EMR Hbase，Thrift服務器消亡

Question

我正在使用Ebase for Hbase。我有一個python API，它使用芹菜異步地將數據寫入Hbase。但是，現在和過去都有例外。 有時候，例外情況是關於傳輸幀，有時候只是斷開的管道。 我總是不得不登錄我的主人並手動重新啓動節儉服務器並重新啓動我的芹菜。我也放鬆了數據。

對此的任何解決方案？

我寫了一個每5分鐘運行一次的crontab來運行hbase-daemon.sh start thrift命令，但是我在/ var/spool/mail/hadoop中得到一個錯誤郵件Error: JAVA_HOME is not set and Java could not be found。

Answer 1

您是否檢查過任何異常的節儉日誌？

如果在日誌中沒有發現任何異常，那意味着節儉正在被殺死，並且通常發生在OutOfMemoryError上。所以基本上你只需要爲節儉服務器添加更多的內存或者同時打開較少的掃描儀（掃描儀消耗大量的資源）。

至於有關JAVA_HOME錯誤，你必須將其設置爲用戶的Hadoop

export JAVA_HOME=/path/where/java/is 

Answer 2

如果節儉服務器崩潰很多時候，一個原因可能是你沒有關閉您的掃描儀。因此，最終節儉使用的內存超過4-5gb，然後崩潰。關閉掃描儀並嘗試。使用smem來找出它正在使用多少內存。此外，還有一個生成的日誌文件，幾乎每次都有引發異常的原因。

這是你可以訪問日誌文件中的高手：

1. CD HBase的\日誌
2. LS -lt //排序基於時間的日誌
3. VI [名稱的文件文件在結果中的第一個位置] //查看日誌