在Scala交互式外殼中執行時的MLlib算法

Question

我正在使用Spark的Scala（交互式）Shell來試驗MLlib算法，例如，奇異值分解（SVD），將它們應用於不同大小的數據集。有沒有辦法找出在Shell中執行算法需要多長時間？

Answer 1

在您的主節點的Web界面3030端口上可以使用Spark shell作業狀態。

打開資源管理器，輸入網址http://MASTER_HOSTNAME:3030

3030端口讓您跟蹤作業的進度和有關其執行情況的各種指標，包括任務持續時間和緩存的統計信息。

其他常用的端口包括：

• 8080，整個星火集羣信息
• 7077，星火主信息

參考：Data exploration using spark。