是否可以在Eclipse IDE中的Spark上運行配置單元？

我一直在嘗試使用Apache Spark Framework開發Spark程序。
我想實例化HiveContext沒有任何羣集。
是否可以使用HiveContext並通過Eclipse Scala IDE在本地運行而不使用任何羣集？是否可以在Eclipse IDE中的Spark上運行配置單元？

來源

2017-02-23 Ivan

簡單有可能嗎？當然......（強調）

要使用HiveContext，你不需要有一個現有的蜂房設置，以及所有可用的SQLContext數據源仍然可用。

但是，您需要編譯一些額外的代碼。

HiveContext只是單獨打包，以避免在默認的Spark版本中包含所有Hive的依賴項。如果這些依賴關係不建議

但是，對於您的應用程序然後使用HiveContext一個問題，如果你只是寫星火沒有任何集羣，沒有什麼阻礙了你星火1.x中，你應改爲使用Spark 2.x，它有一個SparkSession作爲SQL相關事物的入口點。

Eclipse IDE應該沒關係。你也可以使用IntelliJ ...或者沒有IDE和任何包含一些Spark代碼的JAR文件...

來源

2017-02-23 03:15:32

謝謝！我有點困惑，因爲我現在只是在學習火花。我想知道的是使用spark框架創建和使用Hive表。 – Ivan

您需要Hadoop集羣來創建Hive表，是的。運行Spark代碼本身不需要集羣，不需要。 –

是否可以在Eclipse IDE中的Spark上運行配置單元？

回答

相關問題