提高python多線程下載網頁的性能

Question

我正在嘗試編寫使用單獨線程下載網頁的python代碼。下面是我的代碼示例：

import urllib2 
from threading import Thread 
import time 

URLs = ['http://www.yahoo.com/', 
     'http://www.time.com/', 
     'http://www.cnn.com/', 
     'http://www.slashdot.org/' 
     ] 


def thread_func(arg): 
    t = time.time() 
    page = urllib2.urlopen(arg) 
    page = page.read() 
    print time.time() - t 




for url in URLs: 
    t = Thread(target = thread_func, args = (url,)) 
    t.start() 
    t.join() 

我運行代碼和線程似乎串行執行，如果我沒有記錯，與實測的下載時間，但每一個都是輸出後到控制檯一定的時間。我是否正確地編碼？

Answer 1

對t.join()的調用會阻止當前線程，直到目標線程結束。您在創建線程後立即調用它，因此您一次只能運行一個以下的下載器線程。

你的代碼改成這樣：

threads = [] 
for url in URLs: 
    t = Thread(target = thread_func, args = (url,)) 
    t.start() 
    threads.append(t) 

# All threads started, now wait for them to finish 
for t in threads: 
    t.join()