Amazon批處理 - 來自s3的輸入文件

Question

我是AWS新手。我正在嘗試使用批處理來分析一堆文件。如果我有一個Docker鏡像來安裝我的分析程序，那麼在批處理作業中使用I/O的建議方式是什麼？

1. 有沒有辦法使用通用程序訪問S3文件？

   /bin/cd-hit -i <s3bucket/input> -o <s3bucket/output.txt>

2. 或者做人流在作業定義使用Amazon的彈性文件系統掛載爲卷，然後訪問文件呀？

Answer 1

1. 是否有訪問與通用程序S3文件的方法嗎？

是的。

• http://s3tools.org/s3cmd
• http://docs.aws.amazon.com/cli/latest/reference/s3/index.html

或做的人使用亞馬遜彈性文件系統，在作業定義安裝體積，然後訪問文件的方式？

這也是可能的，即使它是更好的考慮S3作爲一個鍵值存儲和編寫多線程代碼訪問S3在時尚。