h2o羣集多節點

Question

我不知道如何創建h2o多節點羣集？ 我試圖使用flatfile，但它仍然無法正常工作。

請查看日誌文件：

[根@ PTDL-167家居】＃java的-Xmx10G -ea罐子h2o.jar -name VIPCLUS -flatfile flatfile.txt -ip 10.61.74。 202 -port 54231 07-27 09：03：42.476 10.61.74.202:54231 13206 main INFO：----- H2O started ----- 07-27 09：03：42.490 10.61.74.202:54231 13206 main INFO：Build git branch：rel-vapnik 07-27 09：03：42.490 10.61.74.202:54231 13206 main INFO：Build git hash：47dceae5c504ed6a2fad5de29292509d0b8024cc 07-27 09：03：42.490 10.61.74.202:54231 13206 main INFO： build git describe：jenkins-master-3905-6-g47dceae 07-27 09：03：42.490 10.61.74.202:54231 13206 main INFO：Build project version：3.12.0.1（latest version：unknown） 07-27 09： 03：42.490 10.61.74.202:54231 13206主要信息：建造年齡：1個月和20天 07-27 09：03：42.490 10.61.74.202:54231 13206主要信息：建造者：'jenkins' 07-27 09： 03：42.490 10.61.74.202:54231 13206主要信息：建於： '2017-06-06 23:26:13' 07-27 09：03：42.490 10.61.74.202:54231 13206 main INFO：Watchdog Build git branch：（unknown） 07-27 09：03：42.490 10.61.74.202 ：54231 13206 main INFO：看門狗生成git hash：（unknown） 07-27 09：03：42.490 10.61.74.202:54231 13206 main INFO：看門狗生成git describe：（unknown） 07-27 09：03：42.490 10.61 .74.202：54231 13206主要信息：看門狗生成項目版本:(未知） 07-27 09：03：42.490 10.61.74.202:54231 13206主信息：看門狗生成者:(未知） 07-27 09：03：42.490 10.61.74.202:54231 13206 main INFO：看門狗建立於：（未知） 07-27 09：03：42.491 10.61.74.202:54231 13206 main INFO：處理過的H2O參數：[-name，VIPCLUS，-flatfile，flatfile.txt ，-ip，10.61.74.202，-port，54231] 07-27 09：03：42.491 10.61.74.202:54231 13206 main INFO：Java availableProcessors：8 07-27 09：03：42.491 10.61.74.202:54231 13206 main INFO：Java堆內存：238.0 MB 07-27 09：03：42.491 10.61.74.202： 54231 13206 main INFO：Java heap maxMemory：8.89 GB 07-27 09：03：42.491 10.61.74.202:54231 13206 main INFO：Java版本：Java 1.8.0_121（來自Oracle Corporation） 07-27 09：03：42.491 10.61.74.202:54231 13206 main INFO：JVM啓動參數：[-Xmx10G，-ea] 07-27 09：03：42.491 10.61.74.202:54231 13206 main INFO：操作系統版本：Linux 3.10.0-514.el7。 x86_64（amd64） 07-27 09：03：42.491 10.61.74.202:54231 13206 main INFO：機器物理內存：15.44 GB 07-27 09：03：42.491 10.61.74.202:54231 13206 main INFO：X-h2o- cluster-id：1501121020922 07-27 09：03：42.491 10.61.74.202:54231 13206主信息：用戶名：'root' 07-27 09：03：42.491 10.61.74.202:54231 13206主INFO：選擇的IPv6堆棧：false 07-27 09：03：42.492 10.61.74.202 ：54231 13206 main INFO：可能的IP地址：enp0s31f6（enp0s31f6），fe80：0：0：0：f71d：d7d1：c1e9：a164％enp0s31f6 07-27 09：03：42.492 10.61.74.202:54231 13206 main INFO：可能的IP地址：enp0s31f6（enp0s31f6），10.61.74.202 07-27 09：03：42.492 10.61.74.202:54231 13206 main INFO：可能的IP地址：lo（lo），0：0：0：0：0：0 ：0：1％lo 07-27 09：03：42.492 10.61.74.202:54231 13206 main INFO：可能的IP地址：lo（lo），127.0.0.1 07-27 09：03：42.492 10.61.74.202:54231 13206主INFO：H2O節點以未加密模式運行。 07-27 09：03：42.493 10.61.74.202:54231 13206 main INFO：內部通信使用端口：54232 07-27 09：03：42.493 10.61.74.202:54231 13206 main INFO：在HTTP上收聽HTTP和REST流量http://10.61.74 。 202：54231/ 07-27 09：03：42.494 10.61.74。 202：54231 13206主WARN：Flatfile配置不包含self：/10.61.74。 202：54231，但包含[/10.60.74.201:54231，/10.60.74。203：54231，/10.60.74.202:54231] 07-27 09：03：42.494 10.61.74.202:54231 13206主要信息：H2O雲名稱：'VIPCLUS'於/10.61.74。 202：54231，基於-flatfile的靜態配置flatfile.txt 07-27 09：03：42.494 10.61.74.202:54231 13206 main INFO：如果您在連接時遇到問題，請嘗試從本地計算機進行SSH隧道（例如，通過端口55555 ）： 07-27 09：03：42.494 10.61.74.202:54231 13206 main INFO：1.打開終端並運行'ssh -L 55555：localhost：54231 root@10.61.74.202' 07-27 09:03： 42.494 10.61.74.202:54231 13206 main INFO：2.將瀏覽器指向http：// localhost：55555 07-27 09：03：42.495 10.61.74.202:54231 13206 main INFO：Log dir：'/ tmp/h2o- root/h2ologs' 07-27 09：03：42.495 10.61.74.202:54231 13206 main INFO：Cur dir：'/ home' 07-27 09：03：42.504 10.61.74.202:54231 13206 main INFO：HDFS子系統成功初始化 07-27 09：03：42.506 10.61.74.202:54231 13206 main INFO：S3 sub系統成功初始化 07-27 09：03：42.506 10.61.74.202:54231 13206 main INFO：Flow dir：'/ root/h2oflows' 07-27 09：03：42.513 10.61.74.202:54231 13206 main INFO：Cloud of大小1形成[ptdl-167.viettel.com.vn/10.61.74.202:54231] 07-27 09：03：42.519 10.61.74.202:54231 13206 main INFO：註冊解析器：[GUESS，ARFF，XLS，SVMLight， AVRO，PARQUET，CSV] 07-27 09：03：42.519 10.61.74.202:54231 13206 main INFO：初始化看門狗擴展 07-27 09：03：42.519 10.61.74.202:54231 13206 main INFO：已註冊1個核心擴展：1ms 07-27 09：03：42.519 10.61.74.202:54231 13206主要信息：註冊H2O核心擴展：[看門狗] 07-27 09：03：42.659 10.61.74.202:54231 13206主要信息：註冊：160 REST APIs：140ms 07-27 09： 03：42.660 10.61.74.202:54231 13206 main INFO：已註冊的REST API擴展：[XGBoost，water.api.RegisterResourceRoots，Core V3，Core V4，Algos，AutoML] 07-27 09：03：42.730 10.61.74.202:54231 13206主要信息：註冊：230模式在70ms 07-27 09：03：42.731 10.61.74.202:54231 13206主信息：H2O開始於1806ms 07-27 09：03：42.731 10.61.74.202:54231 13206主信息： 07-27 09：03：42.731 10.61.74.202:54231 13206主要信息：在您的Web瀏覽器中打開H2O Flow：http://10.61.74.202:54231 07-27 09：03：42.731 10.61.74.202:54231 13206主信息： 07-27 09 ：04：30.291 10.61.74.202:54231 13206＃02：54231 ERRR：發送批處理UDP字節時出現IO錯誤：java.net.NoRouteToHostException：沒有到主機的路由 07-27 09：04：30.298 10.61.74.202:54231 13206 ＃01：54231 ERRR：s時出現IO錯誤結束批處理UDP字節：java.net.NoRouteToHostException：沒有到主機的路由 07-27 09：04：30.298 10.61.74.202:54231 13206＃03：54231 ERRR：發送批處理UDP字節時出現IO錯誤：java.net.NoRouteToHostException ：沒有到主機的路由

Answer 1

你需要有所有主機上運行並共享同一平面文件

例如

1. 你有3hosts，併爲他們創造flatfile.txt： 10.0.0.6 10.0.0.7 10.0.0.8

2. 您需要分發各地集羣flatfile.txt（它不是免費做）

3. 在每臺主機上10.0.0.{6,7,8}你需要運行： java -jar h2o.jar -ip <HOST_IP> -flatfile flatfile.txt

一般情況下，這是手工工藝，更好的方法是使用Hadoop/Yarn或Spark（和Sparkling Water）。