2016-03-29 62 views
1

Spark DStream的方法saveAsTextFiles(前綴,[後綴])可用於在HDFS上保存數據,但此函數不接受任何路徑參數。在HDFS自定義位置保存DStream

myDStream.saveAsTextFiles("prefix_","_suffix") 

默認情況下,它是將數據保存到當前登錄的用戶目錄上HDFS也就是說,如果你正在運行的應用程序使用root用戶,然後數據被存儲在

/user/root/prefix_TIMESTAMP_suffx 

如何更改輸出目錄?

感謝

回答

0

給它的前綴參數所需的HDFS目錄的路徑:

myDStream.saveAsTextFiles("hdfs://my/custom/path/prefix_","_suffix") 
+0

謝謝... !!!!!!! – Shashi