在Hadoop和紗線上安裝pyspark

我在hadoop和yarn之上安裝了火花。當我啓動pyspark shell並嘗試計算某些東西時出現此錯誤。在Hadoop和紗線上安裝pyspark

Error from python worker: 
    /usr/bin/python: No module named pyspark

pyspark模塊應該在那裏，我必須把它的外部鏈接？

請更新您的系統配置。 OS，Hadoop和Yarn版本等。 – eliasah

問題中沒有足夠的信息。 –

我遇到了同樣的問題。這是因爲用Java7構建Spark。使用Java6應該修復它。這實際上是python的錯 - 它的zipimport模塊不支持Java7使用Zip64格式來打包大型Jar和65536+文件。這是Google的幫助。 http://mail-archives.apache.org/mod_mbox/incubator-spark-user/201406.mbox/%[email protected].com%3E

2014-09-19 08:32:04 user3931226

回答