如何在Pyspark中將行分成多行

我知道在Python中，可以使用反斜線或括號將行分成多行。如何在Pyspark中將行分成多行

但不知何故在pyspark，當我這樣做時，我確實把下一行看作是紅色，表明某種東西可能是錯的。

(conf.setAppName('Learnfit_Recommender') 
.set("spark.executor.memory", "10g") 
.set("spark.executor.cores",5) 
.set("spark.executor.instances",50) 
.set("spark.yarn.executor.memoryOverhead",1024) 
)

編輯1：我將括號改爲反斜線。如果你看到圖片，我會看到很少'''。紅色甚至sc變量標記爲紅色。

這是打破pyspark線的正確方法是什麼？

來源

2016-11-30 Baktaawar

您是否嘗試過執行該文件？ – avr

文件的工作原理。但我的擔心是它顯示下面一行sc = sparkContext（conf），sc爲紅色。我正在使用jupyter筆記本運行這個 – Baktaawar

@avr請檢查編輯 – Baktaawar

你可以用斜槓和括號

spark = SparkSession \ 
    .builder \ 
    .appName("Python Spark SQL basic example") \ 
    .config("spark.some.config.option", "some-value") \ 
    .getOrCreate()

編輯：並從星火爲例提交工作

./bin/spark-submit \ 
--master <yarn> \ 
--deploy-mode <cluster> \ 
--num-executors <2> \ 
--executor-cores <2> \

來源

2016-11-30 19:29:03

請檢查編輯與圖像 – Baktaawar

它看起來像你有一個'|'字符，除非這是你的光標。我在Jupyter筆記本中也使用PySpark，但爲什麼要構建它？您可以簡單地將Spark路徑附加到您的bash配置文件。由於您已經在第一行中指定了'conf = conf'，所以似乎也是多餘的。 –

沒有那個光標。 Bash配置文件我不想添加，因爲目前我正在測試設置。一旦找到正確的設置，我可以將這些添加到bash配置文件 – Baktaawar

您可以使用反斜線或括號打破線pyspark爲你做在python中。

你可以找到他們在官方火花Python示例使用火花網站here

來源

2016-11-30 20:03:38 avr

沒有必要在PySpark反斜槓前添加空格。

conf = SparkConf() 

conf.setAppName('appName')\ 
.set("spark.executor.memory","10g")\ 
.set("spark.executor.cores",5) 

sc = sparkContext(conf=conf)

來源

2016-12-01 07:15:05

如何在Pyspark中將行分成多行

回答

相關問題