瞭解spark-sbt-plugin

Question

我遇到了關於如何設置build.sbt for Spark的詳細解釋。

但後來我讀到了SBT plugin for Spark packages這裏顯然像

https://github.com/databricks/sbt-spark-package 

一行是OK的插件做骯髒的工作。

這種理解是否正確？

Answer 1

我會說是的。如果您查看Spark所用的簡單.sbt文件（例如，https://github.com/databricks/learning-spark/blob/master/build.sbt），則可以看到需要包含一堆Spark相關性。 （好的，並非所有在那裏列出的......）。

另外，如果你看一下插件做了什麼，你會發現一些更實用的功能：https://github.com/databricks/sbt-spark-package/blob/master/src/main/scala/sbtsparkpackage/SparkPackagePlugin.scala

這是一個很酷的插件！