spark-jobserver

0熱度

1回答

失敗我使用星火作業服務器0.6.2與1.6.0星火併在一些工作的提交嘗試，我得到以下異常： [ERROR] 2016-11-16 08:01:59,595 spark.jobserver.context.DefaultSparkContextFactory$$anon$1 logError - Error initializing SparkContext. java.lang.NullPoi

0熱度

1回答

Spark作業服務器中的NamedObjects的持久性

使用最新的SJS版本（主）並且應用程序擴展了SparkHiveJob。在runJob實現，我有以下 val eDF1 = hive.applySchema(rowRDD1, schema) 我想堅持EDF1和嘗試了以下 val rdd_topersist = namedObjects.getOrElseCreate("cleanedDF1", { NamedDataFrame(eD

0熱度

2回答

如何使用火花作業服務器中的NamedDataFrame

我爲我的項目使用了SJS，並且想知道SJS中的NamedDataFrame如何工作。我的第一個程序做這個 val schemaString = "parm1:int,parm2:string,parm3:string,parm4:string,parm5:int,parm6:string,parm7:int,parm8:int" val schema = StructType(schemaSt

1熱度

1回答

Spark JobServer，發佈的內存設置

我已經設置了一個spark-jobserver以在精簡數據集上啓用複雜查詢。的jobserver執行兩個操作：同步與主遠程數據庫，這使得一些服務器的表的轉儲，減少和聚合數據，並將結果保存爲實木複合地板的文件，並將它緩存作爲內存中的sql表。這項行動將每天完成; 查詢，當同步操作完成時，用戶可以對聚合數據集執行SQL複雜查詢，（最終）將結果導出爲csv文件。每個用戶在一次只能做一個查詢，並等待其

1熱度

1回答

'JavaPackage'對象不可調用

我的用例如下。我需要能夠從Python代碼內PY火花調用Java方法，這似乎是很容易我開始PY火花像這樣 ./pyspark --driver類路徑/路徑/to/app.jar 和pyspark外殼做到這一點 x=sc._jvm.com.abc.def.App x.getMessage() u'Hello' x.getMessage() u'H

0熱度

1回答

Apache Spark 2.0.2啓動spark-jobserver時出錯

我試圖啓動spark-jobserver。我無法在GitHub spark_jobserver page上提供的安裝步驟中找到對此akka庫的任何參考。我在充當主/節點的單個服務器上以獨立模式運行spark。但是，當我執行 ./job-server/server_start.sh 它顯示了以下錯誤： error while starting up loggers akka.Configura

0熱度

1回答

spark-jobserver的Maven倉庫0.7.0

我正在設置一個Maven Java項目來實現spark-jobserver中的SparkJobs。在GitHub Spark JobServer page他們提到新的0.7.0版本，但他們提供的Maven存儲庫我找不到它。 <repositories> <repository> <id>spark-jobserver</id> <name>spark-jobser

0熱度

1回答

在哪裏可以看到sparkjobserver主控制檯輸出？

運行spark-submit時，您可以在shell中看到println語句。將spark工作提交給sparkjobserver時，我找不到stdout消息的位置。任何人都知道嗎？

1熱度

2回答

Spark Job Server中的Java程序引發scala.MatchError

我正在使用DSE Spark Job Server。我嘗試完成的任務如下：我在Java中創建的Spark任務預計會從cassandra db中獲取一些數據，並將部署到DSE Analytics羣集中。的代碼如下： package com.symantec.nsp.analytics; import static com.datastax.spark.connector.japi.Cassa

0熱度

1回答

節點HTTP POST參數星火作業服務器

下面的curl命令完美的作品來調用，通過論證和執行我的「jobified」星火計劃 curl 'http://someserver:8090/jobs?appName=secondtest&classPath=Works.epJob&context=hiveContext' -d "inputparms=/somepath1 /somepath2" 這裏是星火計劃 override def r