Pyspark Mac NativeCodeLoader：無法爲您的平臺加載native-hadoop庫......使用內置java類（如果適用）

Question

這會阻止PySpark在Jupyter Notebook中正常運行。我知道本地hadoop庫僅在* nix平臺上受支持。該庫不能與Cygwin或Mac OS X平臺一起使用。我怎麼能去正確地安裝PySpark在我Jupyter筆記本運行

Answer 1

1. 下載Hadoop的二進制（link），並把它放在你的home目錄（你可以選擇不同的Hadoop版本，如果你喜歡，並相應地改變接下來的步驟）
2. 使用以下命令解壓縮您的主目錄中的文件夾。 tar -zxvf hadoop_file_name
3. 現在將export HADOOP_HOME =〜/ hadoop-2.8.0添加到您的.bashrc文件中。打開一個新終端並重試。 來源：Install PySpark on Mac