我爲使用php/Mysql的客戶端構建了RSS,Twitter和其他內容聚合器。它通常涉及一個cron作業,一些feed解析並將數據插入到數據庫中以供存儲和稍後重新發布,或刪除或存檔等。沒有什麼突破性的。內容聚合器服務策略
但是現在我的任務是爲公衆構建一個聚合器服務。我想這需要迅速擴展,因爲每個有權訪問該服務的人都可以添加幾十個甚至幾百個源數據源。在幾個月內,我們可能會定期解析1000年的飼料,一年之內可能會分解1000次,或者更多的運氣。
我猜最終的模型是類似谷歌讀者的東西。
那麼,這是什麼策略?多個重疊的cron,持續運行和閱讀提要並連接到API以提取內容?我應該計劃運行Elastic Cloud的多個實例還是需要增長?
簡短的回答是:隊列 – zerkms 2011-12-15 22:02:43