MAPR羣集上的HDFS目錄

Question

我需要將我的Spark Streaming檢查點文件保存在HDFS目錄中。我可以訪問安裝有MAPR的遠程羣集。

但是，我不知道哪條路徑上MAPR表示到HDFS目錄

是opt/mapr/..？

Answer 1

當您連接到您的MAPR羣集，您可以運行以下命令：

hadoop fs -ls/

這將列出，像內的任何HDFS集羣文件/文件夾列表中，那麼你在這裏看到什麼特別的東西。

所以，如果你的星火作業MAPR集羣上運行，你只需要指向您所需的文件夾，例如：

yourRdd.saveAsTextFile("/apps/output"); 

你可以從你的開發環境完全一樣的，但你必須安裝和配置MapR-Client

請注意，您也可以訪問使用NFS MAPR文件系統（FS），應該在集羣上運行，在默認情況下安裝點是/ MAPR

所以，你可以看到的內容你的FS使用：

cd /mapr/you-cluster-name/apps/output 

/mapr/opt是包含MapR安裝產品的文件夾。

所以如果你從純火花的角度來看它：沒有什麼改變只是從文件夾保存/讀取數據，如果你在MapR中運行，這將在MapR-FS中完成。