讀取Pyspark中的屬性文件

Question

我想在我的spark 1.6.0應用程序中讀取.ini文件（這是我的配置/屬性文件）。爲此，我使用ConfigParser來讀取屬性文件。

import ConfigParser 
import os 
config = ConfigParser.ConfigParser() 
config.read(os.path.join(os.path.dirname(__file__), 'config.ini')) 

print 'config sections : ', config.sections() 

結果返回空列表。 我嘗試在客戶端和集羣模式下提交作業，這兩種方式都無法運行作業。 如果我在閱讀文件時犯了錯誤，請告訴我。

Answer 1

可以讀取配置文件。你只需要要麼打包你的代碼的廣告雞蛋或期間通過配置文件火花像提交：

spark-submit --master yarn --deploy-mode cluster --py-files conf/config.ini my_pyspark_script.py 

或者如果雞蛋文件上運行（它將包含你的Python模塊和的config.ini）

spark-submit --master yarn --deploy-mode cluster files --py-files my.egg my_pyspark_script.py 
configFile = resource_filename(Requirement.parse("myapp"), "conf/config.ini") 
config = ConfigParser.ConfigParser() 
config.read(configFile)