python-multiprocessing

    0熱度

    1回答

    我正在並行處理多個大規模csv文件。我想有一個每個文件的進度條。 但是,雖然我顯示了5個小節,但只有最後一個正在更新 - 看起來像所有進程一次。由於我無法將整個csv文件讀入內存,我正在使用文件大小來顯示進度。 inputArg是以數字結尾的文件夾路徑。 def worker(inputArg): with open(inputArg + '/data.csv') as csvfile

    -1熱度

    1回答

    我們已經有一些函數被調用由runInParallel您將在此找到答案使用的並行處理:https://stackoverflow.com/a/7207336/720484 所有這些功能都應該有機會獲得他們應該讀一個單一的全局變量。 這個全局變量實際上是一個類的實例。這個實例包含一個成員變量/屬性,並且所有進程都可以讀寫它。 但是事情並不是這樣發生的。對象(類實例)似乎被複制,並且其屬性在每個進程中都

    0熱度

    1回答

    我有一個串口日誌工具,用於處理COM端口的日誌並將它們發送到數據庫。我使用pyserial ReaderThread與協議工廠一起使用。 class SerialLogging(Process): def __init__(self, cpath, q): Process.__init__(self) self.__queue = q config =

    6熱度

    1回答

    我在嘗試實施新的defaultdict代理對象時遇到了一些麻煩。 documentation有點恐慌,所以我不知道如何正確地做這件事。 我想將defaultdict添加到Manager實例可用的類型列表中。您不能使用的股票multiprocessing.Manager的Manager.register方法,所以我做了我自己的存根經理從multiprocessing.mangers.BaseMana

    0熱度

    1回答

    我有一個FLASK APP並使用gunicorn(同步模式)作爲Web服務器。爲了異步推送信息,當gunicorn啓動時,我使用「gunicorn服務器鉤子」來啓動維護進程(multiprocessing.Process()),並使用multiprocessing.Queue()(它實際上是logging.handlers.QueueHandler(Queue)與python日誌記錄)發送消息。

    2熱度

    1回答

    我有primary.py: from tkinter import * from tkinter.filedialog import askopenfilename from tkinter import ttk import multiprocessing as mp import other_script class GUI: def __init__(self, mas

    0熱度

    3回答

    我想用python3並行運行一個進程。我擁有的代碼在另一個之後運行。任何想法如何使其平行? from multiprocessing import Process def work(x, outfile): for i in range(0,200000): print(x, i,'hello world', outfile) if __name__ == '__ma

    0熱度

    2回答

    你好我想多處理一個for循環,我計算4個不同的獨立函數。唯一的問題是這些函數需要多個參數。其中一些參數是使用循環索引選擇正確元素的列表。這裏是一個示例代碼 import numpy as np def function_1(a,b,c,d): #do heavy calculations #function is written in fortran and linked

    1熱度

    1回答

    我想設置一些接受輸入並處理它的進程,這個結果的結果是我想要處理的另一個任務。實質上,每個任務都會導致零個或多個新任務(相同類型),最終所有任務都不會產生新任務。 我認爲一個隊列對此很有用,所以我有一個輸入隊列和一個結果隊列來添加任何新的任務。任何時候,隊列可能都是空的,但如果另一個進程正在處理某個任務,則可能會添加更多隊列。 因此,我只希望它結束​​時,所有進程都同時嘗試從輸入隊列中獲取。 我對P

    0熱度

    2回答

    早些時候,我嘗試在python中使用線程模塊來創建多個線程。然後我瞭解了GIL以及它如何不允許在一臺機器上利用多個CPU內核。所以現在我試圖做多處理(我不嚴格需要單獨的線程)。 這是我寫的示例代碼,以查看是否正在創建不同的進程。但是從下面的輸出中可以看出,我每次都得到相同的進程ID。所以多個進程沒有被創建。我錯過了什麼? import multiprocessing as mp import o