檢索多個URL一次/並行

Question

可能重複：
How can I speed up fetching pages with urllib2 in python?

我有一個下載網頁中的python腳本，分析它，並從頁面返回一定的價值。爲了得到最終結果，我需要抓幾頁這樣的頁面。每頁檢索需要很長時間（5-10s），我寧願並行發出請求以減少等待時間。
問題是 - 哪種機制可以快速，正確地執行並且CPU /內存浪費最小？扭曲，異步，線程，別的東西？你能提供一些與例子的鏈接嗎？
謝謝

UPD：有幾個解決方案的問題，我正在尋找速度和資源之間的妥協。如果你可以講述一些經驗細節 - 從你的觀點來看它是如何快速加載的 - 這會非常有幫助。

Answer 1

multiprocessing.Pool可以是一個很好的交易，有some useful examples。 例如，如果你有一個網址列表，你可以在一個並行的方式映射內容檢索：

def process_url(url): 
    # Do what you want 
    return what_you_want 

pool = multiprocessing.Pool(processes=4) # how much parallelism? 
pool.map(process_url, list_of_urls) 

Answer 2

multiprocessing

產卵一堆的流程，一個爲你想下載的每個URL。使用Queue來保存一個URL列表，並使這些進程從隊列中讀取一個URL，處理它並返回一個值。

Answer 3

使用異步，即事件驅動而不是阻止，聯網這個框架。一種選擇是use twisted。最近出現的另一種選擇是使用單片眼鏡。這個迷你框架隱藏了非阻塞操作的複雜性。見​​。它可以在幕後使用扭曲或龍捲風，但你並沒有真正注意到它。