如何使用火花從文件系統輸入

我想用火花流，並給從文件系統（HDFS說）的輸入流我。怎麼會做如何使用火花從文件系統輸入

2016-05-25 rajeev aggarwal

您可以同時使用cp和mv命令來傳輸filesRefer：http://stackoverflow.com/questions/36350336/is-spark-streaming-works-with-both-cp-and-mv/36888900#36888900 –

did你檢查文檔？ http://spark.apache.org/docs/latest/streaming-programming-guide.html#basic-sources – maasg

例如，使用JavaStreamingContext當有適當的方法方法，例如textFileStream()可讀取任何文本文件，fileStream()可從Hadoop兼容文件系統讀取文件。您將通過作爲API參數傳遞的目錄來監視更改。如果您要移動任何文件，它將根據批處理間隔由Streaming應用程序拾取。

請查看我的簡單樣本github以從Twitter或文件系統讀取數據。

希望這會有所幫助。

來源

2016-05-25 11:25:13

如何使用火花從文件系統輸入

回答

相關問題