星火執行錯誤：火花提交

我試圖從火花外殼採用下面的命令星火執行錯誤：火花提交

spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /home/cloudera/Desktop/UIDAI-ENR-DETAIL.csv

執行程序下面的錯誤prompoted

<console>:1: error: ';' expected but 'class' found. 
     spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \ --master local[*] \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /home/cloudera/Desktop/UIDAI-ENR-DETAIL.csv

謝謝你們！

來源

2017-07-14 Avi

你不應該逃避scala REPL的或spark-shell你應該從正常linux-shell或terminal運行。

我希望這可以解決這個問題。

來源

2017-07-14 07:30:27

感謝@ Shankar..I從終端試過，而且合作的 – Avi

這些都是import語句我加入進口org.apache.spark。{SparkConf，SparkContext} 進口org.apache.spark.sql._ 進口org.apache.spark.sql.SQLContext._ import org.apache.spark.sql.hive.HiveContext HiveContext顯示爲直通線。我不明白它背後的問題是什麼。謝謝 – Avi

很高興能幫助你接受答案嗎？ –

星火執行錯誤：火花提交

回答

相關問題