亞馬遜S3訪問日誌文件錯誤值»字節發送«

分析我們的S3訪問日誌文件我注意到，S3訪問日誌文件（S3stat和自己的日誌文件分析）中「每月數據傳輸」的值是與賬單中的價值有很大的不同。亞馬遜S3訪問日誌文件錯誤值»字節發送«

現在我做了一個測試，從我們的一個桶中下載文件，它看起來像訪問日誌文件不正確。

在2015年2月3日我上傳了一個zip文件到我們的存儲桶，然後用兩個不同的互聯網連接成功下載了完整的文件。一天後在04/02/2015我分析了日誌文件。不幸的是，這兩個條目在「發送字節」中都有「 - 」的值。亞馬遜»服務器訪問日誌格式«（http://docs.aws.amazon.com/AmazonS3/latest/dev/LogFormat.html）表示： »響應的字節數發送的，不包含HTTP協議開銷，或‘ - ’如果零«

相應的條目看起來像這樣：

。
Bucket Owner Bucket [03/Feb/2015：10：28：41 +0000] RemoteIP - RequestID REST.GET.OBJECT Download.zip「GET /Bucket/Download.zip HTTP /1.1」200 - - 760 542 2228865159 58「 - 」「Mozilla/5.0（Windows NT 6.1; WOW64; rv：35.0）Gecko/20100101 Firefox/35.0」 -

Bucket Owner Bucket [03/Feb/2015：10：28：57 +0000] RemoteIP - RequestID REST.GET.OBJECT Download.zip「GET /Bucket/Download.zip HTTP /1.1」200 - - 860 028 2228865159 23「 - 」「Mozilla/5.0（Windows NT 6.1; WOW64; RV：35.0）的Gecko/20100101火狐/ 35.0「 -

正如你可以看到有兩個日誌相當長的接通時間»總共時間«：○時12分40秒和0點14分20秒

。然後，我根據這些發現檢查了我們主要存儲桶的2014年12月的日誌文件。在2332條相關條目中（我們存儲桶中的所有ZIP文件），我找到了860條出現此錯誤的條目。日誌文件看起來有瑕疵並且對我們的分析沒有用處

有人能幫助我嗎？如果是這樣，這些日誌文件如何可靠地評估？

感謝彼得

來源

2015-02-11 Peter Klarl

高於所採取的日誌條目* *直接從S3日誌？格式看起來好像已經改變了，可能是由於預處理作業在模式匹配中出現了錯誤。這些字段與記錄完全不一致，報價似乎沒有正確對齊，並且數字「028」中的前導零也看起來不正常。 – 2015-02-11 13:06:03

是的，日誌條目從S3日誌中直接獲取......但是出於偏執狂的原因，我調整了條目並添加了一些錯誤。 – 2015-02-13 10:25:16

860 028應該是860028 – 2015-02-13 10:35:24

2個月查詢亞馬遜之後，它看起來像亞馬遜已經修復了這個問題。我的第一次測試時間爲13.03。到16.03。再也沒有這樣的錯誤，我們的S3stat分析自2015年3月12日以來在「每日帶寬」中有一個巨大的（現在正確的）飛躍。

欲瞭解更多信息，你可以看看這裏： https://forums.aws.amazon.com/thread.jspa?messageID=606654

彼得

來源

2015-03-16 10:39:23

亞馬遜S3訪問日誌文件錯誤值»字節發送«

回答

相關問題