spark-launcher

1熱度

1回答

Scala，SparkLauncher無法運行程序「/etc/spark/conf.cloudera.CD-SPARK_ON_YARN-brkvSOzr/yarn-conf/topology.py」

下面的代碼被構建爲jar，並通過使用sparkSubmit命令通過putty 。它工作正常。 var conf = new SparkConf().setAppName("ABC") val sc = new SparkContext(conf) var hiveContext = new HiveContext(sc) import sqlContext.implicits._

2熱度

1回答

Spark啓動器句柄和監聽器沒有給出狀態

我有一個web應用程序，它將使用spark啓動器庫在Cloudera spark集羣上提交spark作業。它成功地將星火作業提交給集羣。但是，它不回調監聽器類方法，即使作業在羣集上執行完成後，返回的上的getState()也不會從「UNKNOWN」更改。我正在使用yarn-cluster模式。這是我的代碼。還有什麼需要做的嗎？ SparkLauncher launcher = new Spark

5熱度

2回答

如何在從另一個應用程序啓動期間正確等待apache spark啓動器作業？

我試圖避免「while（true）」解決方案，當我等待，直到我的spark apache工作完成，但沒有成功。我有火花的應用程序，它假設處理一些數據並將結果放到數據庫中，我從我的spring服務調用它，並且希望等到作業完成。例子：啓動與方法： @Override public void run(UUID docId, String query) throws Exception {

0熱度

1回答

SparkLauncher以用戶爲配置單元運行spark-submit with yarn-client

嘗試運行masterURL=yarn-client的spark工作。使用SparkLauncher 2.10。 java代碼封裝在nifi處理器中。 Nifi目前以root身份運行。當我做紗線應用列表時，我看到USER = root的火花作業開始。我想用USER = hive運行它。以下是我的SparkLauncher代碼。 Process spark = new SparkLauncher()

0熱度

1回答

如何設置驅動程序的Java選項SparkLauncher

當使用提交星火應用紗，我可以通過--driver-java-options通過Java選項的驅動程序，例如： spark-submit --driver-java-options "-Dlog4j.configuration=file:///conf/log4j.properties" ... 如何實現相同的當通過SparkLauncher提交？特別是，有沒有辦法用Spark 1.4來實現

1熱度

1回答

Spark Launcher無法觸發Spark Job？

我正在運行一個火花獨立羣集，其中有3個節點。一個是主人，另外兩個是工人。我在全部三個位置的/home/bizruntime/***.jar的所有三個節點中複製了作業，並且當我使用主服務器中的spark-submit提交作業時，作業正在運行。但是我的集羣處於遠程位置，每次都無法訪問主節點終端。所以我想用Spark Launcher來觸發我的筆記本電腦這個Windows機器的工作。但是當我在我的筆記