我想在一個站點批量下載網頁。我的'urls.txt'文件中有500萬個網址鏈接。大約300M。如何讓多線程鏈接這些網址並下載這些網頁？或如何批量下載這些網頁？ 我的想法： with open('urls.txt','r') as f:
for el in f:
##fetch these urls
或扭曲？ 有沒有很好的解決方案呢？
我後面的例子描述了Twisted的HTTP客戶端的用法。 看完優秀的blog post on the internals of Twisted之後，我明白「工廠」和「協議」組件如何發揮其作用，但我不清楚如何在整個客戶端流程中引入「請求」。 更具體地說，我需要能夠使用Twisted對遠程服務器執行HTTP GET和POST請求。 更新：#twisted/#python IRC上討論之後，似乎twis
我有嘗試做當性能問題之前導入反應器模塊： from twisted.internet import reactor
#some codes here
pid = os.fork()
if not pid:
#some codes blahblahblah
reactor.run()
這引起了非常低的表現，我沒有找到官方文檔有用的信息，我相信這是因爲我在os.fork（