cloudera-cdh

-1熱度

1回答

哪裏可以找到CDH及其所有軟件版本？

我想知道目前最常用的CDH版本及其所有軟件版本的詳細信息。 I.e .:如果CDH 5.6那麼這個軟件包中的MapReduce，Hive，Impala，Sqoop等版本是什麼。

0熱度

2回答

在CDH 5. *上安裝Spark 2？

我有一個從RPM軟件包安裝的Cloudera CDH 5.11集羣（我們不想使用Cloudera Manager或parcel）。有沒有人爲CDH找到/構建Spark 2 RPM軟件包？看來Cloudera只將Spark 2作爲包裹運送。

1熱度

1回答

未啓動Spark歷史記錄服務器

我在3節點羣集上安裝了CDH 5.4.7。在Spark上運行第一個作業後，我檢查了應用程序歷史記錄頁面。它寫成如下 Event log directory: hdfs://****:8020/user/spark/applicationHistory No completed applications found! Did you specify the correct logging d

0熱度

2回答

Hive上的Spark進度條陷入10％

最近我們升級到Spark 1.6並嘗試將SparkQL用作Hive的默認查詢引擎。 Spark Gateway角色與HiveServer2添加在同一臺計算機上，啓用了Spark On Yarn Service。然而，當我運行一個查詢類似以下內容： SET hive.execution.engine=spark; INSERT OVERWRITE DIRECTORY '/user/someuser

0熱度

1回答

卡夫卡分區領導人選舉失敗後，不受控制的經紀人關機

我們有3卡夫卡經紀人和主題與40個分區和複製因子設置爲1.在一些分區失控的卡夫卡經紀人關閉後，我們看到，它是不可能選出新的領導者（請參閱下面的日誌）。最終我們無法讀到這個話題。請注意，如果可以在不改變複製因子大於1的情況下倖存這種類型的崩潰。我們希望我們的目標數據庫具有一致的狀態（基於kafka主題的事件創建），所以我們還將參數unclean.leader.election.enable設置爲

0熱度

1回答

捻與PySpark2：錯誤KuduStorageHandler

我試圖用PySpark 2.1.0 >>> from os.path import expanduser, join, abspath >>> from pyspark.sql import SparkSession >>> from pyspark.sql import Row >>> spark = SparkSession.builder \ .master("local"

0熱度

1回答

簡單插入查詢到蜂房給出錯誤

我有一個在Cloudera CDH中創建的簡單表。使用的版本是Hive 1.1.0 CDH 5.8。 create table student(id decimal, name varchar(100), valid char(1)) clustered by (id) into 2 buckets stored as orc TBLPROPERTIES('transactional'='tr

0熱度

1回答

HDFS不復制塊

我最近安裝了Hadoop（Cloudera）。我遇到了一個錯誤，我在複製塊下（在Cloudera Manager中，它是安裝的GUI）。所以，當我運行 hdfs dfsadmin -report 我得到 Configured Capacity: 555730632704 (517.56 GB) Present Capacity: 524592504832 (488.56 GB) DFS R

0熱度

1回答

Cloudera管理服務自動化

我正在使用Cloudera Express。 Cloudera Manager版本是5.12.0。我正在嘗試自動化服務，如hdfs，hbase ...我可以通過在主機模板中指定每個服務的必需信息並使用使用Cloudera Manager的curl命令將主機模板推送到Cloudera Manager來實現此目的API。現在，我想自動啓動Cloudera管理服務，如主機監視器，服務監視器，事件服務器，

0熱度

1回答

寫入實木複合地板/卡夫卡：線程中的異常「dag-scheduler-event-loop」java.lang.OutOfMemoryError

我試圖解決我在我的火花設置中看到的內存溢出問題，此時，我無法就我爲什麼看到這一點做出具體分析。編寫數據框到鑲木地板或卡夫卡時，我總是看到這個問題。我的數據幀有5000行。它的模式是 root |-- A: string (nullable = true) |-- B: string (nullable = true) |-- C: string (nullable