如何在python中使用多線程時獲得更快的速度

Question

現在我正在研究如何從網站獲取數據儘可能快。爲了獲得更快的速度，我正在考慮使用多線程。這裏是我用來測試多線程和簡單發佈之間區別的代碼。

import threading 
import time 
import urllib 
import urllib2 


class Post: 

    def __init__(self, website, data, mode): 
     self.website = website 
     self.data = data 

     #mode is either "Simple"(Simple POST) or "Multiple"(Multi-thread POST) 
     self.mode = mode 

    def post(self): 

     #post data 
     req = urllib2.Request(self.website) 
     open_url = urllib2.urlopen(req, self.data) 

     if self.mode == "Multiple": 
      time.sleep(0.001) 

     #read HTMLData 
     HTMLData = open_url.read() 



     print "OK" 

if __name__ == "__main__": 

    current_post = Post("http://forum.xda-developers.com/login.php", "vb_login_username=test&vb_login_password&securitytoken=guest&do=login", \ 
         "Simple") 

    #save the time before post data 
    origin_time = time.time() 

    if(current_post.mode == "Multiple"): 

     #multithreading POST 

     for i in range(0, 10): 
      thread = threading.Thread(target = current_post.post) 
      thread.start() 
      thread.join() 

     #calculate the time interval 
     time_interval = time.time() - origin_time 

     print time_interval 

    if(current_post.mode == "Simple"): 

     #simple POST 

     for i in range(0, 10): 
      current_post.post() 

     #calculate the time interval 
     time_interval = time.time() - origin_time 

     print time_interval 

就像你所看到的，這是一個非常簡單的代碼。首先我設置模式爲「簡單」，我可以得到時間間隔：50s（也許我的速度有點慢:(）。然後我設置模式爲「多」，我得到的時間間隔：我從中可以看出，多線程實際上可以提高速度，但結果並不如我想象的那麼好。我想獲得更快的速度。

從調試中，我發現程序主要是阻止在線：open_url = urllib2.urlopen(req, self.data)，這行代碼需要很多時間來發布和接收來自指定網站的數據。我想也許我可以通過添加time.sleep()並在urlopen函數中使用多線程來獲得更快的速度，但我不能這樣做，因爲它的python自己的功能。

如果不考慮服務器阻止發佈速度的可能限制，我還能做些什麼來獲得更快的速度？或我可以修改的任何其他代碼？多謝！

Answer 1

在許多情況下，python的線程不提高執行速度非常好......有時，這使情況變得更糟。有關更多信息，請參見David Beazley's PyCon2010 presentation on the Global Interpreter Lock/Pycon2010 GIL slides。此演示文稿內容非常豐富，我強烈推薦給任何人考慮線程...

您應該使用multiprocessing module。我在代碼中包含了這個選項（請參閱我的答案的底部）。

在我的老機器的一個運行這個（Python的2.6.6）：

current_post.mode == "Process" (multiprocessing) --> 0.2609 seconds 
current_post.mode == "Multiple" (threading)  --> 0.3947 seconds 
current_post.mode == "Simple" (serial execution) --> 1.650 seconds 

我同意TokenMacGuy的評論和上述數字包括移動.join()到不同的循環。正如你所看到的，python的多處理比線程要快得多。

---

from multiprocessing import Process 
import threading 
import time 
import urllib 
import urllib2 


class Post: 

    def __init__(self, website, data, mode): 
     self.website = website 
     self.data = data 

     #mode is either "Simple"(Simple POST) or "Multiple"(Multi-thread POST) 
     self.mode = mode 

    def post(self): 

     #post data 
     req = urllib2.Request(self.website) 
     open_url = urllib2.urlopen(req, self.data) 

     if self.mode == "Multiple": 
      time.sleep(0.001) 

     #read HTMLData 
     HTMLData = open_url.read() 

     print "OK" 

if __name__ == "__main__": 

    current_post = Post("http://forum.xda-developers.com/login.php", "vb_login_username=test&vb_login_password&securitytoken=guest&do=login", \ 
         "Process") 
    #save the time before post data 
    origin_time = time.time() 

    if(current_post.mode == "Multiple"): 

     #multithreading POST 
     threads = list() 
     for i in range(0, 10): 
      thread = threading.Thread(target = current_post.post) 
      thread.start() 
      threads.append(thread) 
     for thread in threads: 
      thread.join() 
     #calculate the time interval 
     time_interval = time.time() - origin_time 
     print time_interval 

    if(current_post.mode == "Process"): 

     #multiprocessing POST 
     processes = list() 
     for i in range(0, 10): 
      process = Process(target=current_post.post) 
      process.start() 
      processes.append(process) 
     for process in processes: 
      process.join() 
     #calculate the time interval 
     time_interval = time.time() - origin_time 
     print time_interval 

    if(current_post.mode == "Simple"): 

     #simple POST 
     for i in range(0, 10): 
      current_post.post() 
     #calculate the time interval 
     time_interval = time.time() - origin_time 
     print time_interval 

Answer 2

DNS查找需要時間。你無能爲力。大延遲是首先使用多線程的一個原因 - 多個查找廣告網站GET/POST可以並行發生。

轉儲睡眠（） - 這沒有幫助。

Answer 3

請記住，多線程可以「增加速度」的Python的唯一情況是當你有像這樣的一個操作這是很大的I/O限制。否則多線程不會增加「速度」，因爲它不能在多個CPU上運行（不，即使你有多個內核，python也不會以這種方式工作）。當你想要同時完成兩件事情時，而不是當你需要兩件事並行時（即兩個過程單獨運行），你應該使用多線程。現在

，你實際上在做實際上並不會增加任何單一的DNS查詢的速度，但它允許多個請求在等待某些人的結果被槍斃掉，但你要小心的你做了多少次，或者你會讓響應時間比現在更糟。

也請停止使用的urllib2和使用要求：http://docs.python-requests.org

Answer 4

你做錯了最重要的事情，那就是傷害你的吞吐量之最，是您呼叫thread.start()和thread.join()方式：

for i in range(0, 10): 
    thread = threading.Thread(target = current_post.post) 
    thread.start() 
    thread.join() 

每次通過循環，您創建一個線程，啓動它，然後等待它完成在轉到下一個線程之前。你根本沒有做任何事情！

什麼你應該做的卻是：

threads = [] 

# start all of the threads 
for i in range(0, 10): 
    thread = threading.Thread(target = current_post.post) 
    thread.start() 
    threads.append(thread) 

# now wait for them all to finish 
for thread in threads: 
    thread.join()