Tensorboard：如何連接到hdfs目錄

Question

我已經使用TensorflowOnSpark來訓練啓用張量板（store_true）的RNN模型。摘要事件已記錄在HDFS目錄中。

如何使用張量板可視化RNN事件（從hdfs目錄）？

我試圖使用hdfs日誌目錄啓動tensorboard，但未能以消息「hdfs not supported」開頭。

如果有人有任何想法，請讓我知道。

Answer 1

如果您在集羣模式下運行Spark而不是本地運行，則無法在啓動Spark作業的計算機上運行Tensorboard來查看事件。這是因爲彙總將被寫入Spark工作人員機器的HDFS目錄。

此外，如果您已成功啓用Tensorboard，則Spark羣集將以您的名義啓動Tensorboard，並將Tensorboard URL打印到Spark日誌中。

---

用戶呈現tensorboard事件（使用TensorFlowonSpark）：

1. 啓動與--tensorboard標誌的火花工作或在你的spark.py文件中定義。

2. 確保您使用參數tensorboard=store_true調用TFCluster.run（）。如果正確完成，此功能將調用TFSparkNode.run()啓動Tensorboard，並打印出Tensorboard URL here。

3. 只需訪問打印到Spark日誌的URL。

注意，一旦作業成功或者被殺死了，機器終止和你的事件文件將不復存在。在這種情況下，如果您仍希望在作業完成後在Tensorboard上查看事件，則可能需要將事件文件複製到本地計算機。