2017-07-26 35 views
1

我使用的是Ubuntu 16,並試圖在我的局域網上設置火花集羣。火花啓動 - 從屬未連接到主

我已成功地配置火花高手,並設法從機從同一臺計算機連接,看看它在localhost:8080

當我嘗試從另一臺計算機連接時,問題開始,我配置了密碼的ssh爲解釋here

當我嘗試使用start-slave.sh火花連接到主://主:端口解釋here

我收到此錯誤日誌

我嘗試使用本地IP和本地名稱訪問主服務器(我管理ssh使用兩個和沒有密碼的主人。同時向用戶和根)

我試過兩個

端口6066和端口7077我沒有得到錯誤的按摩,但新的從沒有在主人的本地主機apearing:8080頁

並保持收到此錯誤日誌

星火命令:/ usr/lib中/ JVM/JAVA-8的OpenJDK,AMD64/JRE /斌/ java命令 在/ usr /本地/火花/ conf目錄/:在/ usr/local/spark/jars/* -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark:// latitude:6066 ========================================使用Spark的默認log4j配置文件:org/apache/spark/log4j-defaults.properties 17/07/26 22:09:09 INFO Worker:啓動後臺進程,進程名稱: 20609 @ name-beckup-laptop 17/07/26 22 :09:09 INFO SignalUtils: TERM的註冊信號處理程序17/07/26 22:09:09 INFO SignalUtils: HUP的註冊信號處理程序17/07/26 22:09:09 INFO SignalUtils: 已註冊信號處理程序INT 17/07/26 22:09:09 WARN Utils:您的 主機名,名稱beckup-laptop解析爲回送地址: 127.0.1.1;改爲使用192.168.14.84(在接口wlp2s0上)17/07/26 22:09:09 WARN Utils:設置SPARK_LOCAL_IP如果您需要綁定到另一個 地址17/07/26 22:09:09 WARN NativeCodeLoader:無法加載 適用於您的平臺的native-hadoop庫...使用內置java類 (如適用)17/07/26 22:09:09 INFO SecurityManager:更改視圖 acls:name 17/07/26 22:09:09 INFO SecurityManager:將修改 acls更改爲:name 17/07/26 22:09:09 INFO SecurityManager:更改視圖 acls組爲:17/07/26 22:09:09 INFO SecurityManager:更改 將acls組修改爲:17/07/26 22:09:09信息SecurityManager: SecurityManager:驗證已禁用;用戶禁用;具有查看權限的用戶 :Set(name);具有查看權限的組:Set(); 具有修改權限的用戶:Set(name);修改組 權限:Set()17/07/26 22:09:09信息實用程序:成功啓動 端口34777上的服務'sparkWorker'。17/07/26 22:09:09信息工作人員: 啓動Spark worker 192.168.14.84:34777與4核心,14.6 GB RAM 17/07/26 22:09:09信息工作者:運行Spark版本2.2.0 17/07/26 22:09:09信息工作者:星火家園:/ usr/local/spark 17/07/26 22:09:10 INFO Utils:在端口8081上成功啓動服務'WorkerUI'。 17/07/26 22:09:10 INFO WorkerWebUI:將WorkerWebUI綁定到0.0.0。0和 開始於http://192.168.14.84:8081 17/07/26 22:09:10信息工作人員: 連接到主緯度:6066 ... 17/07/26 22:09:10警告工人: 未能連接到主緯度:6066 org.apache.spark.SparkException:在awaitResult引發的異常:at org.apache.spark.util.ThreadUtils $ .awaitResult(ThreadUtils.scala:205) at org.apache.spark.rpc.RpcTimeout.awaitResult (RpcTimeout.scala:75) 在 org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI(RpcEnv.scala:100) 在org.apache.spark.rpc.RpcEnv.setupEndpointRef(RpcEnv.scala:108)在 org.apache.spark.deploy.worker.Worker $$ anonfun $ $組織阿帕奇$火花$部署$工人$工人$$ tryRegisterAllMasters $ 1 $$不久$ 1.run(Worker.scala: 241) 在 java.util.concurrent.Executors $ RunnableAdapter.call(Executors.java:511) 在java.util.concurrent.FutureTask.run(FutureTask.java:266)在 java.util.concurrent.ThreadPoolExecutor中.runWorker(ThreadPoolExecutor.java:1142) 在 java.util.concurrent.ThreadPoolExecutor中的$ Worker.run(ThreadPoolExecutor.java:617) 在java.lang.Thread.run(Thread.java:748)引起的: java.io.IOException的:無法連接到緯度/ 192.168.14.83:6066 在 org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:232) 在 org.apache.spark.network .client.TransportClientFactory.createClient(運輸ortClientFactory.java:182) at org.apache.spark.rpc.netty.NettyRpcEnv.createClient(NettyRpcEnv.scala:197) at org.apache.spark.rpc.netty.Outbox $$ anon $ 1.call(發件箱.scala:194) at org.apache.spark.rpc.netty.Outbox $$ anon $ 1.call(Outbox.scala:190) ... 4 more引起者: io.netty.channel.AbstractChannel $ AnnotatedConnectException :連接 拒絕:緯度/ 192.168.14.83:6066處 sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) sun.nio.ch.SocketChannelImpl.checkConnect(本機方法)在 IO。 netty.channel.socket.nio.NioSocketChannel.doFinishConnect(NioSocketChannel.java:257) at io.netty.channel.nio.AbstractNioChannel $ AbstractNioUnsafe.finishConnect(AbstractNioChannel.java:291) 在 io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:631) 在 io.netty.channel .nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:566) 在 io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:480) 在io.netty.channel.nio.NioEventLoop.run(NioEventLoop。 Java的:442)在 io.netty.util.concurrent.SingleThreadEventExecutor $ 2.run(SingleThreadEventExecutor.java:131) 在 io.netty.util.concurrent.DefaultThreadFactory $ DefaultRunnableDecorator.run(DefaultThreadFactory.java:144) 。 。 。1更多

謝謝!

回答

0

發現問題!

你需要添加/ conf目錄文件/火花ENV

有增加以下內容:

SPARK_MASTER_IP='<ip of master without port>' 

start-slave.sh spark://<master ip>:7077 

然後

start-master.sh -h <ip of master>:7077 

將像魅力一樣工作。