2013-11-21 20 views
-1

我在寫聚合服務。此時我需要解析〜2000000頁。起初我試圖用Python做到這一點,但很快我意識到它不是正確的工具。聚合服務實施或如何有效發送2000000個請求?

現在我認爲用另一種編程語言獲取頁面並通過ZMQ將響應發送到Python後端可能是個好主意,在後端將提取數據並將其保存在數據庫中。

所以,

  • 我怎樣才能送2個000 000請求FAST? (真實世界的例子,文章等)
  • 有沒有更好的方法來實現聚合服務?

回答