在HDFS自定義位置保存DStream

Question

Spark DStream的方法saveAsTextFiles（前綴，[後綴]）可用於在HDFS上保存數據，但此函數不接受任何路徑參數。

myDStream.saveAsTextFiles("prefix_","_suffix") 

默認情況下，它是將數據保存到當前登錄的用戶目錄上HDFS也就是說，如果你正在運行的應用程序使用root用戶，然後數據被存儲在

/user/root/prefix_TIMESTAMP_suffx 

如何更改輸出目錄？

感謝

Answer 1

給它的前綴參數所需的HDFS目錄的路徑：

myDStream.saveAsTextFiles("hdfs://my/custom/path/prefix_","_suffix")