spark-jobserver

1熱度

1回答

雖然提神的IntelliJ IDEA的我SBT項目，我面臨着以下錯誤： Error:Error while importing SBT project:<br/>...<br/><pre>[warn] Credentials file C:\Users\usr\.bintray\.credentials does not exist [warn] Credentials file C:\User

0熱度

1回答

Spark Job多線程和動態分配

我對Spark Job Server有很大的期望，但是發現它嚴重缺乏文檔。能否請您回答一個/所有的下一個問題：是否星火作業服務器通過星火會議提交的工作？是否可以與Spark Job Server並行運行少量作業？I saw people faced some troubles，我還沒有看到解決方案。是否可以與不同的CPU，內核，執行器配置並行運行少量作業？

0熱度

1回答

爲什麼在spark作業服務器中不支持帶有namedObject的sparkSession？

我想用spark工作服務器API（for spark 2.2.0）構建一個應用程序。但是我發現用sparkSession不支持namedObject。我的樣子： import com.typesafe.config.Config import org.apache.spark.sql.SparkSession import org.apache.spark.storage.StorageLe

0熱度

1回答

spark-jobserver：工人沒有連接回驅動程序

我在兩臺機器上設置了一個小的Spark環境。一個運行一個主人和一個工人，另一個只運行一個工人。我可以使用Spark Shell使用此羣集： spark-shell --master spark://mymaster.example.internal:7077 我可以在那裏運行計算，正確地分配到節點，所以一切運行良好。但是，我在使用spark-jobserver時遇到了麻煩。首先嚐試啓動Do

2熱度

2回答

將提交fat-jar到spark-jobserver時得到超時（akka.pattern.AskTimeoutException）

我已經使用sbt assembly構建了我的作業jar，將所有依賴關係放在一個jar中。當我嘗試提交我的二進制火花jobserver我越來越akka.pattern.AskTimeoutException 我修改我的配置才能夠提交大罐子（我加parsing.max-content-length = 300m到我的配置）我也增加了一些超時的配置，但沒有任何幫助。後，我跑： curl --data-

0熱度

1回答

無法啓動部署的火花作業服務器錯誤org.slf4j.LoggerFactory未找到

我想在CDH 5.11上使用火花作業服務器，火花版本爲1.6.0 當我嘗試啓動spark jobserver部署的機器我得到這個錯誤日誌 [ERROR] [06/02/2017 15:30:14.966] [JobServer-akka.actor.default-dispatcher-3] [ActorSystem(JobServer)] Uncaught error from thread [

0熱度

1回答

火花作業服務器不會返回正確格式的JSON

case class Response(jobCompleted:String,detailedMessage:String) override def runJob(sc: HiveContext, runtime: JobEnvironment, data: JobData): JobOutput = { val generateResponse= new GenerateRe

0熱度

1回答

java.lang.UnsatisfiedLinkError：java.library.path中沒有mesos

我正在嘗試爲Mesos集羣部署模式配置spark作業服務器。我在jobserver配置中設置了spark.master =「mesos：// mesos-master：5050」。當我試圖創造就業的服務器上的一個背景下，未能與以下異常： [2017-04-19 14:09:42,346] ERROR .jobserver.JobManagerActor [] [akka://JobServer

1熱度

1回答

Spark和Spark JobServer最佳實踐，以避免在每次調用runJob（sc：SparkContext，config：Config）時使用昂貴的重建對象

每次都調用JobServer runJob API，我有一個時間 - 成本邏輯來重複構造一個對象在runJob呼叫 runJob(sc: SparkContext, config: Config) 什麼是對象存儲在內存中，避免了對象的重複建設runJob API的每一個電話，這樣每次調用runJob可以重複使用存儲在內存中的對象的最佳實踐裏面在第一次通話期間？如果我可以做1，那麼當我需要更新

0熱度

1回答

從案例分類中命名爲RDD

我在使用CassandraRow類型的作業之間共享RDD，但現在我將多個RDD一起加入，因此案例類更有意義。我將我的RDD保存爲如下&然後在新工作中檢索它。這與類型CassandraRow很好地工作。 CData在兩個作業中都是相同的案例類。 runtime.namedObjects.update("rdd:session", NamedRDD(mergedRDD, forceComputati