無法將從站連接到Spark中的主站

在Compute Engine上使用4個實例，每個運行的火花都使用Cloudera Manager進行設置。我在啓動主服務器並連接到本地瀏覽器時沒有任何問題，並且它以spark：// instance-1：7077的方式連接。當我開始在剩餘的情況下，啓動從我得到沒有錯誤，直到我期待在日誌中：無法將從站連接到Spark中的主站

16/05/02 13:10:18 INFO worker.Worker: Started daemon with process name: [email protected] 
16/05/02 13:10:18 INFO worker.Worker: Registered signal handlers for [TERM, HUP, INT] 
16/05/02 13:10:18 INFO spark.SecurityManager: Changing view acls to: root 
16/05/02 13:10:18 INFO spark.SecurityManager: Changing modify acls to: root 
16/05/02 13:10:18 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); users with mod$ 
16/05/02 13:10:19 INFO util.Utils: Successfully started service 'sparkWorker' on port 60270. 
16/05/02 13:10:19 INFO worker.Worker: Starting Spark worker 10.142.0.3:60270 with 2 cores, 6.3 GB RAM 
16/05/02 13:10:19 INFO worker.Worker: Running Spark version 1.6.0 
16/05/02 13:10:19 INFO worker.Worker: Spark home: /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark 
16/05/02 13:10:19 ERROR worker.Worker: Failed to create work directory /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark/work

如果我要用mkdir創建「工作」，那麼它會拋出和錯誤，並表示該目錄已存在：

mkdir: cannot create directory ‘work’: File exists

該文件確實存在，當使用ls查找它時，它會以紅色突出顯示並帶有黑色背景。任何幫助，將不勝感激。

來源

2016-05-02 Lucy S.

也許這就是權限問題，

試試這個，

$sudo chown -R your_userName:your_groupName /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark

現在改變上述路徑的模式

$sudo chmod 777 /opt/cloudera/parcels/CDH-5.7.0-1.cdh5.7.0.p0.45/lib/spark

而且所有從機必須使用ssh彼此並能夠互相交談。

並且還將spark的所有配置文件複製到從節點。

來源

2016-05-03 09:01:37

無法將從站連接到Spark中的主站

回答

相關問題