如何在將數據保存到Amazon S3時使Apache Spark使用分段上傳。 Spark使用RDD.saveAs...File
方法寫入數據。當目的地以s3n://
開頭時,Spark會自動使用JetS3Tt進行上傳,但對於大於5G的文件,此操作將失敗。需要使用分段上傳將大文件上傳到S3,這對於較小的文件也是有利的。在JetS3Tt中支持分段上傳,帶有MultipartUtils
,但Spark在默認配置中不使用此功能。有沒有辦法讓它使用這個功能。從Apache Spark將分段上傳到Amazon S3
4
A
回答
相關問題
- 1. 從Android上傳到Amazon S3
- 2. 多部分上傳到Amazon S3將覆蓋上部分
- 3. 將文件上傳到Amazon S3
- 4. ASP.NET MVC - 將圖像上傳到Amazon S3
- 5. 上傳文件到Amazon S3
- 6. 使用分段上傳將文件放入Amazon S3
- 7. Apache Spark向S3上傳性能問題
- 8. 上傳流到Amazon S3
- 9. 將ActionDispatch :: Http :: UploadedFile上傳到Amazon S3
- 10. 如何將文件上傳到Amazon S3?
- 11. 將大文件上傳到Amazon S3
- 12. 將圖像上傳到Amazon S3
- 13. 用Delphi將文件上傳到Amazon S3
- 14. 將Android文件上傳到Amazon S3
- 15. 將多個文件上傳到Amazon S3
- 16. 將文件從Mediafire傳輸到Amazon S3
- 17. 將文件上傳到Amazon S3併爲上傳的百分比分配回調
- 18. 將Amazon S3集成到OSGi(Apache Felix)中
- 19. 將極大(10+ GB)文件分割並上傳到Amazon S3
- 20. 從Apache Spark訪問公共可用的Amazon S3文件
- 21. Amazon S3上傳錯誤:將部件上傳到分段上傳時發生異常
- 22. 將視頻文件從URL批量上傳到Amazon S3
- 23. 如何將選定的文件從Android上傳到Amazon S3
- 24. 如何將文件從網絡上傳到Amazon S3?
- 25. xquery api將數據從marklogic上傳到amazon s3
- 26. 使用AWS Java SDK將文檔從Amazon S3上傳到CloudSearch
- 27. 如何使用流星將圖像從FileReader上傳到Amazon s3
- 28. 如何使用URLFetchService將文件從GAE上傳到Amazon S3?
- 29. Spark Streaming checkpoint to amazon s3
- 30. 基於瀏覽器上傳到Amazon S3?
但Spark不支持s3:// ... – 2015-01-27 18:07:42