0
我正在開發一個node.js應用程序,基本上將用戶事件日誌存儲在數據庫中,並顯示關於用戶操作的見解。 要實現此事件,必須使用Mapreduce作業,該作業每天自動運行(每天晚上)。谷歌雲平臺上的預定mapreduce作業
我在google雲網站上發現了很多關於mapreduce的教程,但是我完全失去了,因爲有幾種技術,並且找不到一種方法來執行它,而沒有使用命令行,也沒有任何信息關於日程安排(我希望整個分析過程完全自動化)
請問,您能否提供關於我應該使用哪些Google技術或在哪裏可以找到一份好教程的建議?
謝謝
您好!所以,有幾個簡單的問題,我們可以提供一個(更多)準確的答案。你將要處理的數據的大小是多少?數據的格式是什麼?您的Node應用程序在哪裏運行 - Google Cloud或其他地方?最後,你是否希望結果放在任何特定的位置,或者在處理結果後有任何需要(如SQL查詢能力等) – James
Hi @James,基本上應用程序現在部署在亞馬遜上,但我有興趣遷移它到Google雲端平臺。目前我正在使用Mongodb數據庫及其mapreduce功能,但不得不管理數據庫和磁盤空間,這是一個痛苦。 – Endymion
@James:忘記提到mapreduce過程的結果發送到rabbitmq,最後保存在另一個mongodb數據庫中。 – Endymion