Python的多處理多線程

Question

結合我不知道如果我所試圖做的是一個有效的做法，但這裏有雲： 我需要我的程序進行高度並行化，所以我想我可以做2-3進程，每個進程可以有2-3個線程。

1）這可能嗎？ 2）有什麼意思？ 3）這是我的代碼，但當我嘗試加入過程時，它會掛起。

PQ = multiprocessing.Queue() 

[...]

def node(self, files, PQ): 

     l1, l2 = self.splitList(files) 
     p1 = multiprocessing.Process(target=self.filePro, args=(l1,PQ,)) 
     p2 = multiprocessing.Process(target=self.filePro, args=(l2,PQ,)) 
     p1.daemon = True 
     p2.daemon = True 
     p1.start() 
     p2.start() 

     p1.join() # HANGS HERE 
     p2.join() 
     while 1: 
      if PQ.empty(): 
       break 
      else: 
       print(PQ.get()) 
     PQ.join() 

    def filePro(self,lst,PQ): 
     TQ = queue.Queue() 
     l1, l2 = self.splitList(lst) 
     t1 = threading.Thread(target=self.fileThr, args=('a',l1,TQ,)) 
     t2 = threading.Thread(target=self.fileThr, args=('b',l2,TQ,)) 
     t1.daemon = True 
     t2.daemon = True 
     t1.start() 
     t2.start() 

     t1.join() 
     t2.join() 
     while 1: 
      if TQ.empty(): 
       break 
      else: 
       PQ.put(TQ.get()) 
       TQ.task_done() 
     TQ.join() 

def fileThr(self,id,lst,TQ): 
     while lst: 
      tmp_path = lst.pop() 
      if (not tmp_path[1]): 
       continue 
      for item in tmp_path[1]: 
       TQ.put(1) 
     TQ.join() 

Answer 1

1）這是可能的嗎？

是的。

---

2）是否有任何點成嗎？

是的。但通常不是你要找的點。首先，幾乎每個現代操作系統都使用「扁平」調度程序;還有分散在3個方案或在8個項目8線程8個線程之間沒有差異。*

_{*有些程序可以通過仔細使用進程內，只鎖或其他同步原語在一些地方，你知道得到顯著的好處你只與同一個程序中的線程共享 - 當然，通過避免在這些地方共享內存 - 但你不會通過平均地跨線程和線程跨線程分散你的作業來獲得這種好處。其次，即使您在默認的CPython解釋器中使用舊的SunOS，全局解釋器鎖（GIL）也可以確保一次只有一個線程可以運行Python代碼。如果你花時間運行顯式釋放GIL的C擴展庫中的代碼（就像一些NumPy函數一樣），線程可以提供幫助，但否則它們都會以序列化的方式結束。}

主要情況線程和進程是有用在一起就是你有兩個CPU綁定和I/O密集型工作。在這種情況下，通常一方正在餵食另一方。如果I/O提供給CPU，則使用主進程中的單個線程池來處理I/O，然後使用一組工作進程來對結果執行CPU工作。如果相反，使用工作進程池來完成CPU工作，然後讓每個工作進程使用線程池來執行I/O。

---

3）這是我的代碼，但它掛起當我嘗試加入的進程。

當您不給minimal, complete, verifiable example時，調試代碼非常困難。

但是，我可以看到一個明顯的問題。

您正在嘗試使用TQ作爲生產者 - 消費者隊列，與t1和t2作爲生產者和filePro父爲消費者。在t1.join()和t2.join()返回之前，您的消費者不會撥打TQ.task_done()，直到這些線程完成後纔會發生。但是這些製作人不會完成，因爲他們正在等待你撥打TQ.task_done()。所以，你有一個僵局。

而且，由於您的每個子進程的主線程都處於死鎖狀態，所以它們永遠都不會完成，因此p1.join()將永遠阻塞。

如果你真的想讓主線程在做任何工作之前等待其他線程完成，那麼你不需要生產者 - 消費者習慣用法;只要讓孩子們在不打電話TQ.join()的情況下完成他們的工作並退出，並且不要打擾父母的TQ.task_done()。 （請注意，您已經在與PQ正確地做這個。）

如果，另一方面，你希望他們並行工作，不要試圖join子線程，直到你完成你的循環。