使用火花提交與蟒蛇主

Question

閱讀和this讓我覺得有可能有​​一個python文件被執行​​但我無法得到它的工作。

我的設置有點複雜。我需要將幾個不同的jar文件與我的python文件一起提交，以便使所有功能都可用。我pyspark命令，它的工作原理是這樣的：

IPYTHON=1 ./pyspark --jars jar1.jar,/home/local/ANT/bogoyche/dev/rhine_workspace/env/Scala210-1.0/runtime/Scala2.10/scala-library.jar,jar2.jar --driver-class-path jar1.jar:jar2.jar 
from sys import path 
path.append('my-module') 
from my-module import myfn 
myfn(myargs) 

我已經打包的雞蛋裏面我的Python文件和雞蛋中含有的主要文件，通過調用python myegg.egg

我現在想使雞蛋可執行以形成我的​​命令，我似乎無法做到。這裏就是我：

./spark-submit --jars jar1.jar,jar2.jar --py-files path/to/my/egg.egg arg1 arg 
Error: Cannot load main class from JAR file:/path/to/pyspark/directory/arg1 
Run with --help for usage help or --verbose for debug output 

代替執行我.egg文件，它走的是雞蛋的第一個參數，並認爲這是一個jar文件，並嘗試從它加載一個類？我究竟做錯了什麼？

Answer 1

其中一種方法是將Spark應用程序的主驅動程序作爲必須傳遞給spark-submit的python文件（.py）。這個主要腳本有幫助Driver識別入口點的主要方法。該文件將自定義配置屬性，初始化SparkContext。

捆綁在egg可執行文件中的那些是依賴項，這些依賴項被髮送到執行程序節點並在驅動程序內導入。

您可以腳本的小文件爲主要驅動力和執行 -

./spark-submit --jars jar1.jar,jar2.jar --py-files path/to/my/egg.egg driver.py arg1 arg 

驅動程序會是這樣的 -

from pyspark import SparkContext, SparkConf 
from my-module import myfn 

if __name__ == '__main__': 
    conf = SparkConf().setAppName("app") 
    sc = SparkContext(conf=conf) 
    myfn(myargs, sc) 

傳遞火花上下文對象作爲參數的任何需要的地方。