是否建議將Google數據存儲用於存儲日誌？

我正在研究什麼可能是用於存儲來自許多客戶端的日誌文件的最佳基礎結構。是否建議將Google數據存儲用於存儲日誌？

Google App引擎提供了一個不會讓流程成爲IT噩夢的好方案：負載平衡，分片，服務器和用戶身份驗證 - 所有操作都以幾乎爲零的配置完成。

但是，我想知道數據存儲模型是否適合存儲日誌。每個日誌條目應該保存爲單個文檔，每個客戶端每天上傳文檔，並且每天可以包含100K條日誌條目。

另外，也有一定的侷限性和問題，可以打破的要求：

60秒超時有關大宗交易 - 我會多少日誌條目每秒能夠插入？如果100K不適合60秒幀 - 這將影響設計和需要放入服務器的工作。
每個實體每秒插入5個插入 - 事務是否被視爲單個插入？
發佈分析 - 文本搜索，搜索類似的日誌條目跨客戶端。數據存儲如何靈活高效地處理這些查詢？
實時數據獲取 - 獲取所有最近的日誌條目。

另一種選擇是在goole計算上部署elasticsearch集羣，並自己寫服務器，從ES獲取數據。

謝謝！

來源

2015-05-07 Mattan

** 2。**寫入限制是每個實體組*。 ** 3。** - 這是您遇到Datastore問題的地方。另一方面，BigQuery支持批量或流式插入以及具有正則表達式支持的類似SQL的查詢接口 - 所有這些接口仍然具有最少的配置。 – tx802

我認爲Google BigQuery更適合用於存儲和處理日誌 –

實體組的性能在這裏並不相關。 –

使用數據存儲的不好主意，如果您使用實體組和父/子作爲註釋，比較性能時會提到更糟的想法。這些數字不適用，但數據存儲根本不是爲您想要的而設計的。 bigquery是你想要的。它專門爲此設計，如果您稍後想要以類似SQL的方式分析日誌。任何更多的細節都需要你提出一個具體的問題，因爲你似乎沒有詳細閱讀任何一項服務。

來源

2015-05-07 12:57:41

是否建議將Google數據存儲用於存儲日誌？

回答

相關問題