在星火

Question

我讀一個CSV文件中的Spark 2.0，並使用一列計數不爲空值選擇dataframes NOT NULL值如下：

val df = spark.read.option("header", "true").csv(dir) 

df.filter("IncidntNum is not null").count() 

，當我用放電測試它，它工作正常-貝殼。當我創建一個包含代碼的jar文件，並提交給火花提交，我在上面的第二條線得到一個例外：

Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException: 
extraneous input '' expecting {'(', 'SELECT', .. 
== SQL == 
IncidntNum is not null 
^^^ 

     at org.apache.spark.sql.catalyst.parser.ParseException.withCommand(ParseDriver.scala:197) 

知道爲什麼這時候我使用的火花工作的代碼會發生-貝殼？

Answer 1

這個問題已經坐了一段時間，但遲到比從未好。

我能想到的最可能的原因是，使用spark-submit運行時，您正在以「集羣」模式運行。這意味着驅動程序進程將位於與運行spark-shell不同的機器上。這可能會導致Spark讀取其他文件。