python在響應之前的urllib2請求

我想在python中編寫一個快速的爬蟲，但我不想用線程來完成。我看了一篇文章，說Scrapy是單線程的，可以在響應返回之前提出請求。我不知道是否有任何示例代碼在使用urllib或urllib2時執行相同的操作，並在響應返回前發出新請求。python在響應之前的urllib2請求

在此先感謝。

Scrapy是開源的，爲什麼不看一看？也就是說，我很確定它使用了扭曲的線程，因爲它使用了大量的線程。 –

是的，我同意Scrapy很棒，它有許多功能，比如請求和響應。我只是想了解如何闖入請求和響應，如5個請求，不等第一個響應返回發出第二個請求。 – user1377324

你已經回答了 - 線程。 –

Scrapy很好，但如果你正在尋找替代品，看看Eventlet。它基於greenthreads（又名協程）。他們甚至有一個簡單的網絡爬蟲的例子 - http://eventlet.net/#web-crawler-example

2012-05-05 21:03:33 spinlok

謝謝你，spinlok，我會看看Eventlet。 – user1377324

回答