1
我需要在我的應用程序中構建某種分析功能。在高峯時段,我預計會每秒收到15000個新記錄。爲了提高速度,我將使用Redis進行寫入。但是書面數據應該格式化並以某種方式發送給BigQuery for OLAP。什麼是最有效的方法呢?如何定期將Redis數據發送到第三方服務?
我能想到的兩種方法:
- 具有將要定期連接到同一 的Redis實例/集羣,並得到書面資料,並使用他們的API 批量插入BigQuery的一個單獨的應用程序。
- 使用Lua腳本定期將Redis鍵和值發送到 BigQuery。
就像我的閱讀和研究一樣,Lua腳本似乎是一個快速解決方案。但是我沒有任何經驗,我也沒有意識到有限制。例如,我可以通過由Redis運行的Lua腳本發送HTTP API調用嗎?錯誤處理呢?
因此,這裏的問題:
你有什麼建議,以實現我上面提到的需求?
- a)一個單獨的應用程序
- b)中的Lua腳本
- C)其它混合
- d)(因此,是什麼?)
當然和,爲什麼呢?
謝謝
感謝您的回答費利佩。標題是我正在尋找的。但是,該存儲庫看起來非常個人化,我擔心它不是生產就緒代碼。你有沒有在生產中使用它? – scaryguy
我還沒有使用它,但這個演示文稿可能有助於http://www.slideshare.net/aftership/stream-billions-of-data-to-google-big-query –
似乎值得去嘗試:)我'我會試一試,讓你知道它是如何發展的。謝謝! – scaryguy