Python中的多步驟併發HTTP請求

Question

我需要在Python中執行三步網頁抓取。我有幾個基本頁面，我最初颳了，我需要從這些頁面中選擇一些鏈接並檢索它們指向的頁面，然後再重複一次。訣竅是我想這樣做是異步的，這樣每個請求都會盡快被觸發，並且整個應用程序不會受到單個請求的阻止。我將如何做到這一點？

直到此時，我一直在做一步與eventlet刮，就像這樣：

urls = ['http://example.com', '...'] 
def scrape_page(url): 
    """Gets the data from the web page.""" 
    body = eventlet.green.urllib2.urlopen(url).read() 
    # Do something with body 
    return data 

pool = eventlet.GreenPool() 
for data in pool.imap(screen_scrape, urls): 
    # Handle the data... 

但是，如果擴展該技術，包括嵌套循環GreenPool.imap，它阻止，直到所有的該組中的請求已完成，這意味着應用程序無法根據需要啓動更多請求。

我知道我可以用Twisted或其他異步服務器來做到這一點，但我不需要這麼龐大的庫，我寧願使用輕量級的東西。不過，我願意接受建議。

Answer 1

這是一個想法......但原諒我，因爲我不知道eventlet。我只能提供一個粗略的概念。

考慮你的「第1步」池生產者。創建一個queue並讓第1步工作人員將他們找到的任何新網址放入隊列中。

創建另一個工作者池。讓這些工人從隊列中拉出來處理它們。如果在他們的過程中他們發現另一個網址，將其放入隊列中。他們將繼續爲後續工作提供食物。

從技術上講，這種方法會使它更容易遞歸超過1,2,3+步。只要他們找到新的網址並將其放入隊列中，工作就會繼續進行。

更好的是，從隊列中的原始URL開始，並創建一個將新網址放入同一隊列的單個池。只需要一個池。

張貼註解

搞笑的是，我張貼了這個答案，去找了eventlet「排隊」相當於是什麼之後，我立刻就發現顯示的正是我剛纔所描述的一個例子：

http://eventlet.net/doc/examples.html#producer-consumer-web-crawler

在那個例子中有producer和fetch方法。生產者開始從隊列中拉出url併產生線程到fetch。 fetch然後將任何新的網址重新放入隊列中，並保持互相饋送。