多進程python與共享內存

Question

我有一個連接到websocket遠程服務器的對象。我需要同時進行並行處理。但是，我不想創建到服務器的新連接。由於線程是更簡單的方法，所以這是我迄今爲止所使用的。但是，由於GIL，我得到了巨大的延遲。我可以實現與線程相同的功能，但並行使用多進程嗎？

這是我的代碼：

class WebSocketApp(object): 

    def on_open(self): 

    # Create another thread to make sure the commands are always been read 
    print "Creating thread..." 
    try: 
     thread.start_new_thread(self.read_commands,()) 
    except: 
     print "Error: Unable to start thread" 

有同等的方式與multiprocesses做到這一點？

謝謝！

Answer 1

你肯定可以，沿着線使用的東西：

from multiprocessing import Process 

class WebSocketApp(object): 

    def on_open(self): 

    # Create another thread to make sure the commands are always been read 
    print "Creating thread..." 
    try: 
     p = Process(target = WebSocketApp.read_commands, args = (self,)) # Add other arguments to this tuple 
     p.start() 
    except: 
     print "Error: Unable to start thread" 

然而，必須指出，重要的是，只要對象是在兩個對象發送到其他進程self和self不同的線程發散並表示不同的對象。如果您希望溝通，您需要使用multiprocessing模塊中包含的Queue或Pipe之類的內容。

您可能需要在主線程中保留所有進程（本例中爲p）的引用，以便能夠通知您的程序正在終止（因爲仍在運行的子進程會掛起父母死後），但這取決於你的程序的性質。

如果您想保留對象一樣，你可以做的幾件事情之一：

使您的所有對象屬性是單值或數組，然後做一些與此類似：

from multiprocessing import Process, Value, Array 

class WebSocketApp(object): 
    def __init__(self): 
     self.my_value = Value('d', 0.3) 
     self.my_array = Array('i', [4 10 4]) 

    # -- Snip -- 

然後這些值應該作爲共享內存。該類型是非常嚴格的，但（你必須指定它們的類型） 不同的答案是使用一個經理：爲共享內存中的列表和字典

from multiprocessing import Process, Manager 

class WebSocketApp(object): 
    def __init__(self): 
     self.my_manager = Manager() 
     self.my_list = self.my_manager.list() 
     self.my_dict = self.my_manager.dict() 

    # -- Snip -- 

然後self.my_list和self.my_dict分別作用。

但是，這兩種方法的類型可能會受到限制，因此您可能需要使用Queue和Semaphore來滾動自己的技術。但這取決於你在做什麼。

查看multiprocessing文檔以獲取更多信息。

Answer 2

直接等同是

import multiprocessing 

class WebSocketApp(object): 

    def on_open(self): 

    # Create another process to make sure the commands are always been read 
    print "Creating process..." 
    try: 
     multiprocessing.Process(target=self.read_commands,).start() 
    except: 
     print "Error: Unable to start process" 

然而，這並沒有解決「共享內存」方面，它有不同的處理稍微比它與線程，在那裏你可以使用全局變量。您還沒有真正指定需要在流程之間共享哪些對象，因此很難確切地說明您應採取什麼方法。然而，multiprocessing文檔涵蓋ways to deal with shared state。請注意，通常它是better to avoid shared state if possible，並且只是在進程之間明確地傳遞狀態，或者作爲構造函數的參數，或者通過類似Queue的東西。