Q

通過Python中的代理進行多線程下載

2009-10-20 46 views 0 likes

0

多線程採集/下載多代理支持的最佳庫是什麼？我看過Tkinter，它看起來很不錯，但有很多，有沒有人有具體的建議？非常感謝！通過Python中的代理進行多線程下載

2009-10-20 Cookies

+0

對於許多文件或多個文件的多線程？ – Oduvan 2009-10-20 20:38:56

+0

當線程空閒時，許多文件同時下載和添加新文件 – Cookies 2009-10-20 21:09:06

A

回答

1

2009-10-20 20:28:57 anthony

+0

謝謝，我現在正在看一看 – Cookies 2009-10-20 20:39:28

0

這是不是你不能只是傳遞一個URL給新產生的線程和每一個呼叫urllib2.urlopen做的，或者是有一個更具體的要求？

2009-10-20 20:36:02 Kylotan

+0

urllib2不是我所見過的線程安全的，但我可以只是做錯了，因爲我是一個線程的noob。我正在下載很多文件，所以我寧願使用比urllib更強大的東西 – Cookies 2009-10-20 20:40:55

+0

幾乎可以肯定是線程安全的，除非您嘗試從多個線程訪問同一對象這樣的固有危險。 – Kylotan 2009-10-20 22:10:59

0

也看看http://scrapy.org/，這是一個建立在扭曲頂部的刮取框架。

2009-10-20 21:24:04 twneale

+0

非常好，我沒有看到任何代理支持，但我想我可以自己做。 – Cookies 2009-10-20 21:36:35

+1

不支持HTTP代理目前尚未在Scrapy中實現，但將來還會有。有關這方面的更多信息，請遵循此故障單。設置http_proxy環境變量將不起作用，因爲Twisted（Scrapy用於下載頁面的庫）不支持它。看到這張Twisted門票瞭解更多信息。 – Cookies 2009-10-20 21:39:02

相關問題