如何修改火花源代碼並生成

Question

我剛開始學習火花。我已經將火花源代碼導入到IDEA並做了一些小的更改（只需添加一些println（））來激發源代碼。我應該怎麼做才能看到這些更新？我應該重新編譯火花嗎？謝謝！

Answer 1

至少你需要maven 3.3.3和Java 7+。

您可以按照下列步驟進行http://spark.apache.org/docs/latest/building-spark.html

的「make-distribution.sh」的劇本是很方便，其配備的火花源代碼的根目錄中。該腳本將生成可分發的tar.gz，您可以簡單地提取並啓動spark-shell或spark-submit。在Spark中更改源代碼後，可以使用正確的選項運行此腳本（主要是傳遞所需的hadoop版本，yarn或hive支持選項，但如果您想在hadoop發行版上運行，或者想要連接到現有的配置單元）。

順便說一句，插入println（）不是一個好主意，因爲它可能會嚴重降低作業的性能。您應該改用記錄器。