導入錯誤：沒有模塊名爲朱古力同時運行火花提交

雖然運行由一個主機和1名工人的火花獨立的集羣上，在caffe Python模塊不會被導入由於錯誤ImportError: No module named caffe導入錯誤：沒有模塊名爲朱古力同時運行火花提交

這沒有按」 t似乎是一個問題，只要我在本地運行一個作業 spark-submit --master local script.pycaffe模塊被導入的很好。

環境變量目前設置爲~/.profile火花和咖啡，他們指向PYTHONPATH。

是~/.profile正確的位置設置這些變量或者一個系統範圍內的配置需要，如添加變量下/etc/profile.d/

請檢查是否這是有用的https://github.com/yahoo/CaffeOnSpark/wiki/GetStarted_standalone –

感謝Arunakiran，這個例子是使用CaffeOnSpark雅虎開放的平臺，我相信使用Scala而不是python。我們已經看過，但目前沒有讓我們受益。 –

請注意，CaffeOnSpark團隊移植來自Caffe通過Hadoop和星火支持分佈式環境。你不能，我99.99％肯定，在Spark集羣或任何分佈式環境本身中單獨使用Caffe （沒有任何修改）。（已知Caffe團隊正在爲此工作）。

如果您需要使用Caffe進行分佈式深度學習，請按照https://github.com/yahoo/CaffeOnSpark/wiki/build中提到的構建方法構建CaffeOnSpark，並使用CaffeOnSpark而不是Caffe。

但是，最好的辦法是跟着這個GetStarted_standalone wiki或GetStarted_yarn wiki創建一個分佈式環境來進行深度學習。

此外，要添加python，請通過GetStarted_python wiki。

另外，既然您提到您使用的是Ubuntu here，請使用~/.bashrc來更新環境變量。你將不得不源更改後的文件：source ~/.bashrc

2016-10-17 02:43:10

謝謝Arun，這正是我需要知道的。 –

回答