2017-07-07 34 views
0

例如,我想從在遠程hadoop集羣上運行的h2o flow導出模型(不是POJO),以便我可以將其上傳到本地計算機的會話,並查看輸出指標,而無需訓練模型再次使用相同的數據。但是,當我嘗試從flow(以某種名稱「export_test」)導出模型時,我無法找到它。要啓動H2O會議上,我做的:H2O Flow UI輸出到的根目錄是什麼?

$cd cd h2o-3.14.0.6-mapr5.2 
$hadoop jar h2odriver.jar -nodes 5 -mapperXmx 6g -output hdfsOutputDirName 

,但我沒有看到所謂的hdfsOutputDirName也不在H2O-3.14.0.6 - mapr5.2目錄「export_test」的任何文件(這是在我的本地計算機上使用flow時,只要我將其導出就存儲模型),所以我不確定它會在哪裏發生。是否有一個默認的基礎目錄,h2o流可能會導出到我遠程訪問的節點上的某處(如baseDir/export_test)?

謝謝:)

回答

0

該模型將相對於你所說的特定節點運行的位置保存。因此,在放置REST API客戶端(如R,Python或H2O Flow)所在的YARN容器的主機上的本地文件系統上。

這可能不是您希望模型保存的位置。

您可以明確指定一個「hdfs://」路徑來保存模型,然後在hdfs中找到它。

[「輸出hdfsOutputDirName」實際上是從org.apache.hadoop.util.ToolRunner繼承的工件,不用於任何東西。 ]

+0

當我在本地機器上運行'flow'時,導出模型和.hex文件導致這些東西被下載到我啓動h2o.jar文件的目錄中。但是當我正在遠程處理hadoop節點運行'flow'時,情況也不會發生。從你回答,它似乎應該被下載到* h2o-3.14.0.6-mapr5.2 *節點我ssh編輯(我不是很熟悉hadoop條款,因爲我只想使用它在我的情況下運行'流'),但我沒有看到這一點。 – lampShadesDrifter

+1

如果您使用hdfs路徑(建議),那麼模型將被保存到hdfs,並可以從任何可以看到hdfs的地方檢索到。如果您不使用hdfs路徑,則該路徑對於流連接到的主機(瀏覽器中的IP地址)是本地的。您可能會或可能無法登錄到該主機。這可能與您啓動h2o的主機不同。 – TomKraljevic

+0

爲自己和其他人添加註釋,這些註釋可能與我發佈此問題時的情況類似(即沒有使用'h2o'或'hadoop'的經驗):訪問hdfs將使用類似'$ hadoop fs <檢索文件的命令>'或在本地文件系統上掛載一個用於hadoop的nsf網關。 – lampShadesDrifter