Python：我如何停止使用100％CPU的線程/多處理？

Question

我有代碼從無限次的時間每秒從7個設備讀取數據。每個循環，都會創建一個啓動7個進程的線程。每個過程完成後，程序等待1秒鐘並重新開始。這是一段代碼：

def all_thread(): #function that handels the threading 
    thread = threading.Thread(target=all_process) #prepares a thread for the devices 
    thread.start() #starts a thread for the devices 

def all_process(): #function that prepares and runs processes 
    processes = [] #empty list for the processes to be stored 
    while len(gas_list) > 0: #this gaslist holds the connection information for my devices 
     for sen in gas_list: #for each sen(sensor) in the gas list 
      proc = multiprocessing.Process(target=main_reader, args=(sen, q)) #declaring a process variable that sends the gas object, value and queue information to reading function 
      processes.append(proc) #adding the process to the processes list 
      proc.start() #start the process 
     for sen in processes: #for each sensor in the processes list 
      sen.join() #wait for all the processes to complete before starting again 
     time.sleep(1) #wait one second 

但是，這使用了我的CPU的100％。這是通過線程和多處理設計還是僅僅是錯誤的編碼？有沒有辦法限制CPU使用率？謝謝！

更新：

的意見被提main_reader()功能，所以我會把它進入正題。它所做的就是讀取每個設備，獲取所有數據並將其附加到列表中。然後將列表放入隊列以顯示在tkinter GUI中。

def main_reader(data, q): #this function reads the device which takes less than a second 
    output_list = get_registry(data) #this function takes the device information, reads the registry and returns a list of data 
    q.put(output_list) #put the output list into the queue 

Answer 1

當您在留言狀態時，你的main_reader只需要幾分之一秒的運行，這意味着進程創建開銷可能會導致問題。

以下是multiprocessing.Pool的示例。這會創建一批工作人員並向他們提交任務。進程只啓動一次，如果這意味着無限循環，則不會關閉或加入進程。如果你想關閉你的游泳池，你可以通過加入和關閉游泳池（請參閱文檔）。

from multiprocessing import Pool, Manager 
from time import sleep 
import threading 
from random import random 

gas_list = [1,2,3,4,5,6,7,8,9,10] 

def main_reader(sen, rqu): 
    output = "%d/%f" % (sen, random()) 
    rqu.put(output) 


def all_processes(rq): 
    p = Pool(len(gas_list) + 1) 
    while True: 
     for sen in gas_list: 
      p.apply_async(main_reader, args=(sen, rq)) 

     sleep(1) 

m = Manager() 
q = m.Queue() 
t = threading.Thread(target=all_processes, args=(q,)) 
t.daemon = True 
t.start() 

while True: 
    r = q.get() 
    print r 

如果這不起作用，您需要開始深入挖掘。我首先會將無限循環中的睡眠時間增加到10秒甚至更長。這將允許您監視程序的行爲。如果CPU高峯一會兒，然後穩定下來10秒左右，您知道問題出在您的main_reader中。如果它仍然是100％，你的問題必須在其他地方。

有沒有可能你的問題不在你的程序的這部分？你似乎在一個線程中啓動了這一切，這表明你的主程序正在做其他事情。它可以是這個別的東西，使CPU達到峯值嗎？