python-multiprocessing

2熱度

3回答

即時進行復雜模擬參數的優化。我使用多處理模塊來增強優化算法的性能。多處理的基礎我學到了http://pymotw.com/2/multiprocessing/basics.html。根據來自優化算法的給定參數，複雜仿真持續不同的時間，大約1到5分鐘。如果參數選擇非常糟糕，模擬可能會持續30分鐘或更長時間，結果無用。所以我在考慮在多處理過程中超時構建，這會終止所有超過定義時間的模擬。問題的下面有一

1熱度

1回答

在Python中跨進程共享連接到postgres db

我有一個作爲守護進程運行的Python腳本。在啓動時，它會產生5個進程，每個進程都連接到Postgres數據庫。現在，爲了減少數據庫連接的數量（最終會變得非常大），我試圖找到跨多個進程共享單個連接的方法。爲此，我正在查看multiprocessing.sharedctypes.Value API。但是，我不知道如何跨進程傳遞使用此API的psycopg2.connection對象。誰能告訴我怎麼做

2熱度

1回答

POPEN，多和守護程序與Python

我需要與POPEN運行長foobar.py過程和解析其輸出與多處理過程。我的問題是，有時我不能等待解析器完成，所以我需要使用the multiprocessing daemon property對解析器進行守護進程。我需要解析器可以使用deamonic non daemonic方式。該文檔還表示，一個守護進程不允許創建子進程。所以在這種情況下，我會在解析器分叉之前運行Popen進程（請參閱下面的

0熱度

2回答

Python的多文本提取性能問題VS Perl的等效

標記這個作爲回答，並開始圍繞在速度問題真正出現一個較簡單的主題是 Python slow read performance issue 感謝迄今爲止的所有意見，非常有用我有大約40M XML文件傳播（不均勻）跨約。 60K子目錄，該結構是基於一個10位數字分割這樣：三十四分之一十二/ 56 /九十〇分之七十八/ files.xml 我有這是違背牽引的值的文件perl腳本單個字段輸出並打印值和文

9熱度

3回答

我是否需要顯式地將multiprocessing.Queue實例變量傳遞給子進程在實例方法上執行？

我有幾個基本的問題，當涉及到使用Python的multiprocessing模塊： class Someparallelworkerclass(object) : def __init__(self): self.num_workers = 4 self.work_queue = multiprocessing.JoinableQueue() sel

7熱度

1回答

我可以在一個類的方法中使用multiprocessing.Pool嗎？

我打算在我的代碼中使用multiprocessing以獲得更好的性能。但是，我得到了一個錯誤如下： Traceback (most recent call last): File "D:\EpubBuilder\TinyEpub.py", line 49, in <module> e.epub2txt() File "D:\EpubBuilder\TinyEpub.

0熱度

1回答

多進程中的進程。池不報告運行時錯誤

我有一個Python進程池使用from multiprocessing import Pool。我將這些進程傳遞給不同的函數來運行，調用Pool.apply_async函數。如果我在其中一個函數中引入錯誤（即：一行代碼，如5/0），預期的命令行報告ZeroDivisionError: integer division or modulo by zero將永遠不會顯示，程序也不會終止。即使我在調用P

0熱度

1回答

Python多處理：跨進程的唯一對象標識

假設您想要並行運行多個進程（使用多處理，可能在多個獨立機器上，如羣集中），其中每個進程都會創建一個特定類的新實例列表。然後，您將所有這些列表發送回父進程，並且要將它們組合起來。現在，我們可以通過對象ID來索引這些實例嗎？我可以期待id唯一標識給定每個對象是在單獨的進程上生成的對象（可能是一臺單獨的機器）嗎？換句話說，對象的id是否在進程間發送數據所需的酸洗過程中存活，還是解釋器在取消對象時爲對象

2熱度

1回答

交錯的數據加載與multiprocessing.Queue somtimes導致項目被消耗無序

我正在寫一個劇本動畫圖像數據。我有一些大型圖像立方體（3D陣列）。對於其中的每一個，我逐步瀏覽每個立方體中的幀，一旦我接近它的結尾，就加載下一個立方體並繼續。由於每個立方體的尺寸很大，因此存在顯着的加載時間（約5秒）。我希望動畫能夠在多維數據集之間無縫地切換（同時也節省內存），所以我歪曲了加載過程。我在解決方案方面取得了一些進展，但仍然存在一些問題。下面的代碼加載每個數據立方體，將其拆分爲幀並將

9熱度

1回答

在等待信號量時，如何在接收到SIGTERM後正常退出python進程？

我有一個使用多處理模塊產生5個其他Python進程的Python進程。我們稱之爲父進程P0和其他P1-P5。要求是，如果我們發送一個SIGTERM給P0，它應該先關閉P1到P5，然後退出。捕獲是P1和P5正在等待信號量。所以當我將SIGTERM發送到這些進程時，它們調用信號處理程序並退出。但是由於他們在等待信號量，他們會拋出異常。有沒有辦法在退出前捕獲該異常，以便P0至P5能夠優雅地退出？回溯