Spark cell magic not found

Question

我有python2 env。在與jupyter筆記本的窗戶10上。

在本教程下面的說明後，我設法在Windows 10安裝火花： https://medium.com/@GalarnykMichael/install-spark-on-windows-pyspark-4498a5d8d66c

但是當我嘗試運行細胞魔法SQL我收到以下錯誤：

ERROR:root:Cell magic %%sql not found.

當我使用％lsmagic我無法在其中找到sql cell魔術。

我還注意到，在Jupyter中啓動新筆記本時，沒有選擇pyspark內核的選項。

Answer 1

您是否正在嘗試使用SQL或Spark-SQL？我用iPython-SQL這很棒，還有SparkMagic，這聽起來像你在找什麼。嘗試安裝使用%%sql魔法的SparkMagic。