Pyspark讀取CSV - NameError：名字「火花」是沒有定義

我試圖以調用一個火花會話，並用它來打開一個CSV文件運行databricks下面的代碼：Pyspark讀取CSV - NameError：名字「火花」是沒有定義

spark 
fireServiceCallsDF = spark.read.csv('/mnt/sf_open_data/fire_dept_calls_for_service/Fire_Department_Calls_for_Service.csv', header=True, inferSchema=True)

而且我收到以下錯誤：

NameError:name 'spark' is not defined

任何想法可能是什麼錯？

我也想跑：

from pyspark.sql import SparkSession

，但得到的迴應如下：

ImportError: cannot import name SparkSession

如果有幫助，我試圖按照下面的例子（你會明白，如果更好您從17:30開始觀看）： https://www.youtube.com/watch?v=K14plpZgy_c&list=PLIxzgeMkSrQ-2Uizm4l0HjNSSy2NxgqjX

來源

2016-11-23 Prosonic

以防萬一：[link]（http://spark.apache.org/docs/2.0.0/sql-programming-guide.html#starting-point-sparksession） – mrsrinivas

我正在使用databricks筆記本。我正在關注這個例子（如果你直接跳過它，直到17:00這很容易理解）： https://www.youtube.com/watch?v=K14plpZgy_c&list=PLIxzgeMkSrQ-2Uizm4l0HjNSSy2NxgqjX – Prosonic

我甚至無法導入它下面的代碼：從pyspark.sql進口SparkSession 當我得到如下：導入錯誤：無法導入名稱SparkSession – Prosonic

-2

請注意您使用的示例代碼爲Spark版本2.x

「Spark」和「SparkSession」在Spark 1.x上不可用。您收到的錯誤消息指向可能的版本問題（Spark 1.x）。

檢查您正在使用的Spark版本。

來源

2016-11-23 16:44:56 Ricardo

我使用的Spark 2.0。 – Prosonic

這不是一個答案 –

Pyspark讀取CSV - NameError：名字「火花」是沒有定義

回答

相關問題