spark-submit

0熱度

2回答

我創造與AWS EMR火花應用程序，但與Python 3而不是Python的2 火花提交運行但是當我運行pyspark相反，它是Python的2 哪有我強制spark-submit使用Python 2？我試圖做 export PYSPARK_PYTHON=/usr/bin/python2 ，但沒有奏效。感謝

0熱度

1回答

遠程火花提交無法通過paramiko

我的火花程序是在遠程ubuntu系統。現在我想使用paramiko（一個用於SSH2連接的python包）從windows系統執行它。 The program in windows for remote execution of spark program 的問題是，我可以在遠程Ubuntu系統執行Python程序，但不能執行星火計劃項目。有人知道爲什麼

0熱度

1回答

火花提交：通過運行變量來引發腳本

我使用的火花提交選項submiting Pyspark/SparkSQL劇本，我需要運行變量（數據庫名稱）傳遞給腳本火花提交命令： spark-submit --conf *database_parameter*=my_database my_pyspark_script.py pyspark腳本 database_parameter = SparkContext.getConf().get

0熱度

1回答

java.lang.NoClassDefFoundError：更好/文件/文件spark-sbumit scala代碼

當我導出程序到一個jar文件並執行它，我得到一個java.lang.NoClassDefFoundError：更好/文件/文件錯誤。我使用的代碼如下。預先感謝任何幫助 SBT name := "testFunctions" version := "1.0" scalaVersion := "2.11.8" libraryDependencies += "com.github.pat

1熱度

2回答

無法在認證模式下使用Mongo與Mongo-Spark連接器連接

我試圖通過Mongo-Spark連接器在遠程機器上使用MongoDB實例運行Spark提交作業。當我發起的mongod服務沒有的--auth標誌，像這樣運行命令： ./bin/spark-submit --master spark://10.0.3.155:7077 \ --conf "spark.mongodb.input.uri=mongodb://10.0.3.156

2熱度

1回答

火花加載一個s3a文件作爲一個DF，哪個命令來運行？

我有一個JSON文件，該文件是有效的：我可以成功地導入本地火花機上 DF = sqlContext.read.json("/home/me/myfile.json") 我有一個shell腳本 /home/me/spark/bin/spark-submit \ --master local[*] Code.py 到目前爲止提交作業很好，例如DF.show（1）工作正常。現在我試圖從s3

3熱度

2回答

在Scala中創建SparkSession對象以在unittest和spark-submit中使用的最佳實踐

我試圖編寫從DataFrame到DataFrame的轉換方法。而且我也想用scalatest來測試它。如你所知，在使用Scala API星火2.x中，您可以創建SparkSession對象如下： import org.apache.spark.sql.SparkSession val spark = SparkSession.bulider .config("spark.mast

0熱度

3回答

運行時錯誤星火2.0代碼

我有以下代碼： import org.apache.spark.sql.SparkSession . . . val spark = SparkSession .builder() .appName("PTAMachineLearner") .getOrCreate() 當執行時，我得到以下錯誤： Excepti

1熱度

1回答

HiveContext - 無法訪問在蜂巢映射表的HBase作爲外部表

我試圖訪問在星火使用HiveContext蜂巢映射HBase的表。但我得到ClassNotFoundException例外..下面是我的代碼。 import org.apache.spark.sql.hive.HiveContext val sqlContext = new HiveContext(sc) val df = sqlContext.sql("select * from dbn.h

0熱度

1回答

Spark與Java - 錯誤：無法從JAR加載主類

我正在嘗試一個簡單的電影推薦機器學習程序火花。星火版本：2.1.1 Java版本：java的8 斯卡拉版本：Scala代碼亞軍版本2.11.7 ENV：Windows 7的運行這些命令來啓動主機和工人奴隸 //start master spark-class org.apache.spark.deploy.master.Master //start worker spark-class