hadoop2

0熱度

1回答

我正在解析數據以便通過MapReduce作業獲得某種意義。解析的數據以批次的形式出現。它通過火花流工作進一步加載到配置外部表。這是一個實時過程。現在我面臨一個不尋常的事件，因爲在輸出位置創建了_temporary目錄，由於目錄無法加載到配置單元表中，因此加載到配置單元表失敗。它只發生過一次，其餘的工作都運行良好。請參閱截圖。 _temporary目錄中還包含任務ID作爲子目錄它們是空的。任何人都可

1熱度

1回答

將非HA Hadoop集羣轉換爲HA集羣

我有一個非HA Hadoop設置，具有3個節點：NameNode和2個DataNode。 NameNode是一款服務器，內存爲4GB，硬盤容量爲20GB，每個DataNode有8GB內存和100GB硬盤。現在我需要將其轉換爲HA羣集。我已閱讀了兩種方法：使用Quorum Journal Manager和使用共享存儲。從上面兩點做到這一點的最好方法是什麼？每種方法需要多少個附加節點？如何最小

3熱度

1回答

RequestHedgingRMFailoverProxyProvider的IllegalAccessError在HDP升級後在hadoop集羣中啓動Apache Twill應用程序

我試圖從hadoop集羣啓動Apache Twill應用程序，集羣最近從HDP 2.2升級到HDP 2.5，但是我收到RequestHedgingRMFailoverProxyProvider的llegalAccessError類。這個類是org.apache.hadoop.yarn.client包的一部分。我在應用程序主文件中遇到這個錯誤。「接受狀態」之後，工作狀態直接變爲「未運行狀態」。 E

0熱度

1回答

Hive橫向視圖用where子句分解 - 什麼先運行

我想了解WHERE子句是否在後面或之前在配置單元中的橫向視圖分解中運行。例如，如果我有 SELECT * FROM ( SELECT a1, a2, b.ds, conv_list.threshold_conv[0] AS t FROM t1 b LATERAL VIEW EXPLO

0熱度

4回答

設置SSH密鑰，但服務器仍然會提示輸入密碼？

ssh localhost ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 我跟着我的端子短了禁止運行Hadoop服務（$ start-all.sh）密碼所有上述步驟，但它仍然要求密碼，請人幫我禁用密碼..

2熱度

1回答

Hadoop集羣 - 正常集羣和安全集羣之間的性能差異

在正常的Hadoop集羣和配置了Kerberos和SSL的安全Hadoop集羣之間，性能會有所不同嗎？考慮到機器配置對於這兩種類型的羣集都是相同的，完成作業所用的時間是否不同？如果是的話，我們有沒有關於時差的已知時間指標？像，正常的集羣 - 1.5小時安全集羣 - 2.5小時

-2熱度

1回答

使用雜誌節點的高可用性

什麼是雜誌節點的需要，爲什麼我們配置高情況Three雜誌節點。僅用於複製

0熱度

1回答

紗線應用-list：如何過濾今天或過去24小時的列表？

我想列出在Hadoop集羣上運行的應用程序。我可以得到列表中的應用現狀進行過濾，如下所示： >yarn application -list -appStates FINISHED 但仍然拉起整個歷史（過去的4-5天，我想基於紗線時間軸服務器配置）。有沒有一種方法可以過濾特定的日期或類似過去24小時？

0熱度

1回答

DRILL作爲HDP 2.6的自定義服務：java.lang.ClassCastException

我正在安裝Drill with HDP 2.6，並且在安裝過程中，屏幕停留在選擇從屬代理的一個屏幕上。在日誌文件中： java.lang.ClassCastException: java.util.LinkedHashSet cannot be cast to java.util.List at org.apache.ambari.server.controller.internal.

0熱度

1回答

ambari中是否有任何可用於羣集CPU利用率的警報？

如果是，那麼如何使用該警報？如果它不可用，那麼如何創建一個通過ambari獲取集羣CPU使用率的自定義警報？