如何及時扇出網址提取請求？

每分鐘左右，我的應用程序創建一些數據，需要通過URL Fetch回調將它發送到超過1000個遠程服務器。每個服務器的回叫URL都存儲在不同的實體中。創建數據並將其發送到遠程服務器之間的時間間隔應該大致小於5秒。如何及時扇出網址提取請求？

我最初的想法是使用Pipeline API將URL獲取請求扇出到不同的任務隊列。

不幸的是，任務隊列不能保證及時執行。因此從請求任務隊列開始到實際執行可能需要幾分鐘到幾個小時。從以往的經驗來看，這種差距經常會超過一分鐘，所以不一定合適。

從App Engine內部有什麼辦法可以實現我想要的嗎？也許你知道一個可以及時做粉絲的外部服務？

2013-04-05 Dan

也許我可以使用網址提取直接在我自己的應用程序上調用前端實例，然後在遠程服務器上調用URL提取？在這種情況下，我應該如何使用Pipeline API來分割回調？ – Dan 2013-04-07 16:12:23

我知道這個問題有點古怪。既然你正在談論1000個URL提取，而不是10,000 ...你看看預期搜索？你有沒有想出一個好的解決方案？ – Jay 2013-11-09 01:10:33

我最終做了我在前面的評論中所說的內容，並使用由URLFetch調用的前端實例來扇動。我還使用了https://code.google.com/p/appengine-mapreduce/wiki/ScatterPropertyImplementation的原則來決定要花多少錢。 – Dan 2013-11-10 20:31:33

那麼，這裏可能沒有好的解決方案。您可以保持後端運行;每秒對新數據發送數據存儲/ memcache ，然後產生數十個異步url-fetches。但是，這真的是效率低下...

如果你想要第三方服務，pubnub.com是能夠做扇出，但我不知道它是否適合你的設置。

來源

2013-04-05 13:28:27

如何使用異步API？然後，您可以從一個位置進行大量同步URL調用。

如果性能特別敏感，您可以從後端執行並使用B8實例。

來源

2013-04-05 15:41:50 jkflying

如何及時扇出網址提取請求？

回答

相關問題