如何使用pyspark連接筆記本電腦中的外部模塊？

Question

我有一個主要的IPython筆記本，其中我有執行不同任務的代碼。

我需要導入自己的模塊中.py文件的形式在筆記本上，像這樣：

from custom_module import function 

我們可以假設custom_module.py是：

def function(x): 
    print(x) 

當我從理解文檔，我需要做的是寫下列內容：

$pyspark --py-files custom_module.py 

該命令上面的作品只有當模塊在ipynb的同一個文件夾，但是，我有什麼模塊.py文件在其他目錄？

我試了下面的代碼，沒有好的結果。找不到模塊。

$pyspark --py-files /home/username/desktop/test/custom_module.py 

Answer 1

基本上，這將工作在客戶端上，但不在驅動程序上。 我發現這樣做的一種方式是確保custom_module位於驅動程序中的目錄位於PYTHONPATH中。