2010-07-09 44 views
0

以下是非常高的要求。GAE是我的應用程序的可行平臺嗎? (如果沒有,那麼更好的選擇是什麼?)

  • 我們將分發桌面代理(或瀏覽器插件)以從大量用戶(在成千上萬甚至數百萬人中)收集某些信息。

  • 這些代理收集數據並定期將其上傳到服務器應用程序。

  • 服務器應用程序將允許用於分析收集到的數據(篩選,排序等基於4-5屬性)和圖表等形式總結

  • 我們也應該能夠出口一些收集到的數據(csv或pdf)

我們正在尋找一個託管服務器應用程序的平臺。由於低管理成本和可擴展性,GAE似乎很有吸引力(隨着用戶數量的增加,平臺將處理規模......希望!)。

GAE是我們可行的選擇嗎?

一個重要的考慮因素是,有時上載週期中代理的上載量可能會超過50MB。我們將在互聯網連接速度非常慢的地方使用用戶。顯然,GAE對請求持續的持續時間有限制。上傳量可能會導致請求(從代理向服務器傳輸數據)持續30秒以上。如何處理這種情況?

謝謝!

回答

0

上傳時間不被視爲腳本執行時間的一部分,所以不用擔心。

Google App Engine非常適合執行大量較小的作業,但並不適合執行復雜的長時間運行的後臺作業(因爲30秒的限制+更小的數據庫連接時間限制)。所以可能GAE會是一個非常好的平臺來收集數據,但不是實際分析它。你可能想分開這兩個。

+0

安德里斯感謝您的幫助。現在很明顯,上傳部分不是問題。分析部分肯定會成爲問題。如果我們最終收集,比方說,幾百萬條記錄,其中搜索可能需要超過30秒。 如何分離收集和分析部件?你的意思是把數據轉移到EC3或類似的東西進行分析? 感謝您的澄清! – greppz 2010-07-11 01:42:42

+0

我正在做一些類似的事情,但在小範圍內(每天50萬條記錄)。如果您事先知道所有分析邏輯,則可以並行創建更多的表格以進行彙總,以便您不必查看詳細數據。如果聽起來不錯,我可以給你一個例子。 – Manjoor 2010-07-13 14:18:47

0

我們在GAE上繼續實施了第一個版本。經驗已經非常多,這裏描述的是http://www.carlosble.com/?p=719

對於概念驗證原型,我們迄今爲止建立的是可以接受的。但是,我們已決定不使用GAE(至少現在的版本)來生產版本。在我們的案例中,痛苦有點超過了好處。

我們遇到的問題很多。與我處理J2EE堆棧的經驗不同,當遇到問題時,很多時候都是死路一條。如果您能找到解決方法,解決方法非常複雜和難看。

通過編寫好的原型,人們可以找出GAE是否適合正在構建的解決方案,但是,炒作是一個問題。很多新人因爲炒作而對GAE過分興奮,最終失敗了。因爲他們會選擇GAE用於各種不適合的目的。

相關問題