spark-shell和scala CLI客戶端是否有區別？

spark-shell和scala CLI客戶端提供類似的功能;他們之間有什麼區別嗎？spark-shell和scala CLI客戶端是否有區別？

我認爲可以公平地說，Spark REPL是Scala REPL的一個功能超集。幾乎所有你可以在Scala REPL中做的事情都可以在Spark REPL中完成（當然Scala REPL不能完成Spark REPL能做的所有事情）。

但是，在實施方面，兩者完全不同。 Spark需要能夠在一組分佈的驅動程序上運行，因此它與Scala REPL的操作非常不同（this post擴展了一些技術差異）。

2016-12-31 05:58:00

Spark-shell重用了最新的Scala REPL來減少代碼維護; REPL對片段的包裝方式進行了一些更改以適應Spark。（Cf -Yrepl-class-based）

但是，仍然存在一些錯誤，尤其是與包裝或模板時使用導入歷史記錄有關的問題。

2016-12-31 07:14:27

火花殼是一個命令行接口來分析火花簇交互支持Scala的數據。類似spark-shell，Spark有Python的pyspark外殼。它提供了一個特殊對象Sparkcontext（sc）與Spark集羣進行交互。

Scala cli是一個交互式命令行界面，用於嘗試Scala命令。它用於快速檢查Scala命令/ api。

如果要使用Scala分析Spark數據，請轉至Spark shell，並且如果您想嘗試一些Scala命令以用於Spark cli

2016-12-31 09:35:55

回答