0
我想使用火花流監控s3目錄並返回添加到該目錄的任何新文件的路徑。 textFileStream和fileStream似乎都無法做到這一點。實際上有辦法完成我想要做的事嗎？從火花傳輸中讀取新的s3文件路徑
編輯：Spark ver。 2.1.0
A
回答
0
它使用s3a：//執行此操作;我有測試證明它。
- 設置了一個足夠大的窗口來處理延遲掃描目錄，並清理它。
- 你可以直接寫入目的地「目錄」;無需編寫然後重命名。如果你這樣做：文件被複制並拿起窗口。
- 不要在那裏設置檢查點
相關問題
- 1. 火花，輸入文件的路徑
- 2. newHadoopAPI中的多個輸入路徑以供火花讀取Lzo文件
- 3. 得到火花hdfs文件路徑
- 4. 在火花中讀取Avro文件
- 5. 從文本文件中讀取路徑？
- 6. 從mongodb讀取火花
- 7. 火花階讀取配置文件
- 8. 從文本文件讀取路徑％username％
- 9. 使用火花結構化流式讀取s3中的avro文件
- 10. 文件傳輸路徑
- 11. 空文件輸出火花
- 12. 從文件路徑讀取變量值
- 13. SpringBoot - 從application.properties讀取文件，路徑
- 14. 從相對路徑讀取文件
- 15. 從s3或本地文件系統的火花從子目錄遞歸讀取文件
- 16. Maxscript文件路徑讀取？
- 17. 火花：如何從火花外殼運行火花文件
- 18. 從apache中讀取數據並將數據寫入S3中的火花
- 19. 的jQuery/JavaScript的路徑，從文件中讀取圖像/文件
- 20. 火花流stdin輸入/從unix實用程序輸出讀取
- 21. 獲取S3完整路徑文件
- 22. 從javascript中的文件路徑讀取本地文件
- 23. 從批處理文件中的.txt文件讀取路徑
- 24. 從火花斯卡拉的多行文件中讀取JSON文件
- 25. 爲火花輸出文件設置S3輸出文件承兌人
- 26. 從文本文件中提到的路徑中讀取圖像
- 27. 火花傳輸可視化
- 28. `input_file_name`上的過濾器火花路徑
- 29. 星火使用sc.textFile從S3讀取文件（「S3N：// ...）
- 30. 火花傳輸中的廣播
Spark版本？ – mrsrinivas
@mrsrinivas spark 2.1.0 – foboi1122
你可以添加你試過的代碼嗎？確保您已正確配置訪問密鑰和密鑰，以訪問s3文件系統。 – mrsrinivas