apache-spark-standalone

1熱度

1回答

我使用Spark 2.1.1。我使用結構化流式處理從2個Kafka分區讀取消息。我正在向Spark Standalone集羣提交我的應用程序，其中包含一名工作人員和兩名執行程序（每個2個核心）。 ./bin/spark-submit \ --class MyClass \ --master spark://HOST:IP \ --deploy-mode cluste

2熱度

1回答

忽略獨立羣集中通過REST作業提交進行的spark.master配置忽略

我在HA模式下有一個獨立的spark羣集（2個主控），並且有幾個工作人員在那裏註冊。我通過REST接口提交的火花與工作細節之後， { "sparkProperties": { "spark.app.name": "TeraGen3", "spark.default.parallelism": "40", "spark.executor.memory"

1熱度

2回答

火花提交抱怨斯卡拉 - 2.10罐子不存在

我新的火花和阿帕奇（火花2.1.0彬hadoop2.7）下載預編譯的二進制文件星火當提交我的斯卡拉（2.11.8）尤伯杯罐子集羣拋錯：使用Scala 2.10 java.lang.IllegalStateException: Library directory '/root/spark/assembly/target/scala-2.10/jars' does not exist; make s

4熱度

1回答

多節點火花集羣上的spark-shell無法在遠程工作節點上運行sponser execution

在獨立模式下安裝了spark集羣，第一個節點上有2個節點，spark主節點正在運行，另一個節點上有spark worker。當我嘗試用字計數代碼工作節點上運行的火花外殼運行良好，但是當我嘗試在主節點上運行的火花外殼它提供了以下的輸出： WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; chec

1熱度

1回答

在Docker容器中運行Spark驅動程序 - 沒有從執行程序連接到驅動程序的連接？

更新：問題已解決。 Docker鏡像在這裏：docker-spark-submit 我在Docker容器中運行spark-submit和一個胖胖的jar包。我的獨立Spark羣集運行在3個虛擬機上 - 一個主機和兩個工作人員。從工人的機器上的執行日誌，我看到執行人有以下驅動器網址：「--driver-URL」，「火花：//[email protected]：5001」 172.17.0.2實際

1熱度

1回答

工人：無法連接到主站的火花阿帕奇

我嘗試部署使用獨立的集羣管理器Windows上的應用程序星火，所以在主端（IP：192。 .186），我跑： \bin>spark-class org.apache.spark.deploy.master.Master ，並在從站側（IP：192. 0.75）我跑： \bin>spark-class org.apache.spark.deploy.worker.Worker spark://192

1熱度

1回答

工人無法連接到Spark Apache中的主服務器

我正在部署使用獨立羣集管理器的Spark Apache應用程序。我的架構採用了2個窗口機壹臺作爲主，而另一組作爲奴隸（工人）主：關於這一點我運行：\bin>spark-class org.apache.spark.deploy.master.Master，這是什麼網站界面顯示：從站：關於這一點我運行：\bin>spark-class org.apache.spark.deploy.worker

1熱度

1回答

火花工人之一不工作

我使用了2個工人的獨立羣集。使用火花卡夫卡卡桑德拉HDFS流 val stream = kafkaUtils.createDirectStream... stream.map(rec => Row(rec.offset, rev.value)).saveToCassandra(...) stream.map(_.value).foreachRDD(rdd => {saving to HDFS

0熱度

1回答

執行器在Spark獨立部署中失敗

我在本地windows機器上運行spark。當我將master設置爲本地時，它工作得很好，但是當我給它一個集羣master uri時，它會爲它啓動的每個執行器引發以下異常。 17/10/05 17:27:19 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20171005172719-0006/0 is now FAI

0熱度

2回答

火花獨立羣集

我有一個火花獨立羣集。該集羣由2個工人和1個主節點組成。當我在主節點上運行程序時，作業僅分配給一個工人。另一名工人不能做某事。工人出現在圖片上。要運行我的代碼，我用下面的命令： spark-submit --class Main.Main --master spark://172.19.0.2:7077 --deploy-mode cluster Main.jar ReadText.txt