Apache-spark - 在windows上啓動pyspark時出錯

我想在windows上運行pyspark。不過，我收到以下錯誤：Apache-spark - 在windows上啓動pyspark時出錯

c:\spark>pyspark 
Python 3.6.0 |Anaconda 4.3.1 (64-bit)| (default, Dec 23 2016, 11:57:41) [MSC 
v.1900 64 bit (AMD64)] on win32 
Type "help", "copyright", "credits" or "license" for more information. 
Traceback (most recent call last): 
File "C:\spark\bin\..\python\pyspark\shell.py", line 38, in <module> 
    SparkContext._ensure_initialized() 
File "C:\spark\python\pyspark\context.py", line 259, in _ensure_initialized 
    SparkContext._gateway = gateway or launch_gateway(conf) 
File "C:\spark\python\pyspark\java_gateway.py", line 80, in launch_gateway 
    proc = Popen(command, stdin=PIPE, env=env) 
File "C:\Users\shuzhe\Anaconda3\lib\subprocess.py", line 707, in __init__ 
    restore_signals, start_new_session) 
File "C:\Users\shuzhe\Anaconda3\lib\subprocess.py", line 990, in _execute_child 
startupinfo) 
PermissionError: [WinError 5] Access is denied

我已經搜索了幾個小時，但我無法找到一個解決這個問題。任何幫助是極大的讚賞！

謝謝！

來源

2017-05-13 Parker

如果你使用spark 2.1，你將不得不切換到spark 2.1.1。python 3.6有一個bug，現在在2.1.1中解決。

https://issues.apache.org/jira/browse/SPARK-19019 \

我有同樣的問題與Python 3.6和3.5和Windows 2.1的火花，我切換到水蟒蟒2.7，現在它工作正常。

來源

2017-05-13 22:31:20 zlidime

嗨。其實我用的是2.1.1，這個問題依然存在。那麼你有什麼其他想法應該怎麼做？ – Parker

對不起，我安裝了2.1.1的spark，與同樣的anaconda版本4.3.1，windows 10，以及java 1.8.0_131-b11和hadoop 2.7.3，winutils 2.7.1，我也不會像你那樣得到同樣的錯誤。 – zlidime

Apache-spark - 在windows上啓動pyspark時出錯

回答

相關問題