2017-04-04 73 views
0

您的建議對我的項目將有很大的幫助。Amazon Glacier - 根據前綴檢索文件

計劃使用亞馬遜冰川來存儲cron作業的輸出以進行長期存儲。 cron作業產量將每天&上生成的每個文件將在這下面的名稱格式

03-04-2017-output-1.txt 
03-04-2017-output-2.txt 
04-04-2017-output-1.txt 
04-04-2017-output-2.txt 

是否有可能檢索單個文件,該文件是文件的使用日期前綴的整合? 例如,我想檢索在03-04-2017生成的文件,因此一個包含03-04-2017-output-1.txt,03-04-2017-output-2.txt的zip文件是否可能根據文件名選擇文件並檢索?

我訪問了AWS amazon glacier的文檔,瞭解了基於MB的關於範圍檢索,是否可以根據文件名進行檢索?

+1

除非您確定自己在做什麼,否則請勿使用冰箱。 看看你如何檢索文件的方式,我敢打賭,你真的不知道冰川背後隱藏的成本。估算您的存儲需求,然後閱讀標準和IA的S3定價。 很高興學習其他人的「課程」,如在這裏展示 - > https://medium.com/@karppinen/how-i-ended-up-paying-150-for-a-single-60gb-download-從亞馬遜冰川-6cb77b288c3e – mootmoot

+0

嗨@mootmoot,感謝您的警告..將牢記亞馬遜冰川上傳和下載費用..但我們仍然選擇冰川長期存儲,而不是頻繁訪問..只是想知道在檢索時基於文件名合併文件的這種模式是否可行? – DPK

回答

0

您已經提到了zip文件中的文件存儲,它與所有存儲服務無關,因爲挖掘ZIP內容會浪費CPU資源和高風險實踐(例如歸檔彈/壓縮炸彈)。

所以你需要直接處理存儲的對象。

恕我直言,你最好的選擇是創建你的S3 storage inventory。只要你確保你的壓縮日誌文件被賦予適當的日期/等索引前綴/後綴。如果您想將中期內容存儲在S3標準和標準IA存儲器中,這也很有用。

正如AWS Glacier FAQ

Q提到:我可以看到我的檔案儲存在亞馬遜的冰川?

是的。儘管您需要維護自己的數據索引,但您需要將 上傳到Amazon Glacier,但您的每個 電子倉庫中的所有歸檔清單都會保留用於災難恢復或偶爾會使用 對帳。庫存庫每天更新約 。您可以將文件庫清單作爲JSON或CSV文件請求,並將包含有關文件庫 中歸檔文件的詳細信息,包括文件大小,創建日期和歸檔說明(如果您在上傳過程中提供了 ,則爲 )。庫存將代表最近庫存更新時庫的狀態 。