亞馬遜S3訪問日誌文件有多可靠？

Question

我們正在轉向s3，開始爲我們的網絡應用程序提供一些靜態生成的內容。我們一直在研究構建關於網站使用情況的指標體系的機制，並且我們計劃通過傳遞附加信息來記錄內容GET請求來解析S3的訪問日誌。我們碰巧遇到下列entry in the developers guide：

盡力而爲服務器的日誌遞送

服務器訪問日誌記錄功能 專爲最大的努力。您可以 期望針對 桶大多數請求是正確配置了 日誌記錄將導致交付日誌 記錄，並且大多數日誌記錄將 的，他們記錄的 時間在幾個小時內交付。

但是，服務器日誌記錄功能是盡力而爲地提供的 。不保證服務器 日誌的完整性和及時性。特定請求的日誌 記錄可能在實際處理請求 很長時間後纔會傳送，或者可能根本不會傳送 。服務器日誌的目的 旨在爲存儲桶 擁有者提供針對他或她的存儲桶的流量性質 的概念。它不是 意味着所有請求的完整會計 。

我們想知道其他人在交付訪問日誌方面有什麼經驗嗎？我們的選擇是構建一個HTTP服務器，並嘗試用不同的調用來度量度量標準，但我們認爲解析日誌文件可能會減少工作量。我們想知道是否有人看到沒有發生交付的情況，試圖衡量我們希望的準確程度，因爲我們收集的一些指標用於我們的一些業務流程。

Answer 1

我很驚訝我S3上的日誌文件在一個月內有多大。我的應用沒有必要在亞馬遜上解析日誌，但我喜歡你的方法。從我所看到的，你可以預期日誌文件是準確和完整的。根據他們的CYA警告，日誌不應該用於任何關鍵的事情。

Answer 2

我知道這是不是一個回答你的問題，但是...

除非你的靜態文件需要某種形式的授權（用於下載簽署網址等），我看不出有什麼好的用情況使用S3來提供靜態內容。

這不是一個CDN，並不意味着作爲一個使用。 ;-)

至少，我建議使用cloudfront，但恕我直言，它太昂貴（和其他人相比，表現不佳）。我建議這樣的人edgecast或cachefly，因爲他們對你的錢提供更多的。\

他們還爲您提供（或多或少）廣泛staticstics和很多不錯的功能，如簡單的清洗和緩存​​失效。

Answer 3

我們一直在使用S3來記錄相對大量的數據（大約100M行）。我們需要依靠S3訪問日誌爲特定目的，我們正在觀察要意識到可能是訪問日誌的潛在用戶重要的幾個問題：

• 我們看到（少數）的日誌條目顯示出來很多天他們都應該被創建
• 後，我們會看到重複的條目記錄單S3交易（目前正在調查）
• 也有似乎是在那裏實際上沒有創建一個日誌條目的情況下（目前正在調查）

我的建議是避免依賴S3訪問日誌，如果數據的準確性和完整性至關重要。