在不下載的情況下閱讀s3存儲桶上的文件內容

Question

對於aws和s3，我非常新，所以如果看起來我沒有嘗試過任何東西，那麼請原諒。我想遍歷目錄和文件，讀取文件並從可公開訪問的s3存儲桶中檢索特定的行：s3://cgl-rnaseq-recompute-fixed/，而無需下載它。我只想在文件內容上執行基本任務，如grep/cat。

例如，我應該可以從s3存儲桶中的所有文件和文件夾中獲取包含MYCN的行。

什麼是最有效的方法呢？ R/Python中是否有包可以幫助遍歷s3桶？

謝謝！

Answer 1

http://boto.readthedocs.io/en/latest/s3_tut.html

conn = boto.s3.connection.S3Connection(
     aws_access_key_id='xxx', 
     aws_secret_access_key='yyy' 
) 
for key in conn.list(prefix='logs/*.log'): 
    print key