如何按文件夾記錄和彙總S3帶寬？

我有一個S3桶設置了幾個文件夾，每個文件夾代表一個用戶。在每個用戶的文件夾中有幾個音頻文件通過HTTP流式傳輸給用戶。如何按文件夾記錄和彙總S3帶寬？

我需要一種方法來跟蹤按文件夾的帶寬。我試過啓用S3日誌記錄，但它在使用的格式中並不是非常有用。它吐出噸的小文本文件，在他們一行，例如：

61f106674fb0e4a39d49057d70272b980edd365ea3a95e2ae81a2ae83193aea5 XXX [17/8/2017年：17：39：00 +0000] XXX - XXX REST.GET.OBJECT音軌/ user1/xxx.m4a「GET /tracks/user1/xxx.m4a HTTP/1.1」200 - 4911363 4911363 165 143「https://xxx」「Mozilla/5.0（Macintosh; Intel Mac OS X 10_11_6）AppleWebKit/537.36（KHTML，如Gecko） Chrome/60.0.3112.101 Safari/537.36「 -

我希望CSV文件大小和文件路徑都列出來。有沒有另一種方法來做到這一點？

來源

2017-08-17 ffxsam

是的，Amazon S3存儲桶記錄文件是您尋求的信息的最佳來源。它們是小文件，因爲它們是定期生成的。每個時間段都會創建新文件，而不是附加到現有文件。

查詢其內容的簡單方法是使用Amazon Athena，它允許您跨存儲在Amazon S3中的數據編寫類似SQL的查詢。

請參閱：Using AWS Athena to query S3 Server Access Logs

來源

2017-08-17 22:11:55

如何按文件夾記錄和彙總S3帶寬？

回答

相關問題