我在哪裏可以設置spark.eventLog.enabled？

我想測試一下機器學習庫Mllib的形式spark並在eclipse中設置一個依賴項的maven項目。當我嘗試編譯this示例時，出現以下異常：'ERROR SparkContext：初始化SparkContext時出錯。我在哪裏可以設置spark.eventLog.enabled？

ERROR SparkContext: Error initializing SparkContext. 
org.apache.spark.SparkException: A master URL must be set in your configuration 
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:371) 
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2256) 
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:831) 
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:823) 
    at scala.Option.getOrElse(Option.scala:121) 
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:823) 
    at testing.JavaLogisticRegressionSummaryExample.main(JavaLogisticRegressionSummaryExample.java:33)

有建議設置spark.eventLog.enabled太虛假，但我在哪裏設置此值？

來源

2016-08-13 A.Dumas

嘗試JVM參數選項http://stackoverflow.com/questions/24481399/how-to-set-master-address-for-spark-1-x-examples-from-command-line –

謝謝爲你的答案。添加參數後，我得到一個無法連接到myhost：7077 –

如果您在eclipse中作爲java程序運行，那麼您可以像下面那樣設置主URL。當你創建一個具有依賴關係的jar並使用spar-submit在Spark中運行時，你可以在命令中傳遞主url。請參閱Spark文檔。

SparkSession spark = SparkSession 
    .builder() 
    .appName("JavaLogisticRegressionSummaryExample") 
    .config("spark.sql.warehouse.dir", "/file:C:/temp")//workaround for issue https://issues.apache.org/jira/browse/SPARK-15899 
    .master("local[2]") 
    .getOrCreate();

來源

2016-08-13 09:25:35 abaghel

我在哪裏可以設置spark.eventLog.enabled？

回答

相關問題