將本地python腳本連接到遠程spark主模塊

Question

我正在使用python 2.7與spark獨立羣集。

當我在運行python腳本的同一臺機器上啓動master時。它工作順利。

當我在遠程計算機上啓動主服務器並嘗試啓動本地計算機上的spark上下文以訪問遠程spark主服務器時。沒有任何反應，我得到一個按摩，說任務沒有得到任何資源。

當我訪問主人的用戶界面。我看到這份工作，但沒有任何反應，它只是在那裏。

如何通過本地python腳本訪問遠程spark主站？

謝謝。

編輯： 我讀到，爲了做到這一點，我需要以集羣模式（而不是客戶端模式）運行集羣，並且我發現目前有standalone mode does not support this for python application。

想法？

Answer 1

爲了做到這一點，我需要以集羣模式（而不是客戶端模式）運行集羣，並且我發現here當前獨立模式不支持python應用程序。