python-multiprocessing

0熱度

1回答

我有一個Class，它在狀態中存儲一個大型的數組numpy。這導致multiprocessing.Pool變得非常緩慢。這裏有一個MRE： from multiprocessing import Pool import numpy import time from tqdm import tqdm class MP(object): def __init__(self, mat

2熱度

1回答

Python 2進程IPC

我有兩個獨立存在的進程。現在我想在「盡力而爲」的基礎上將消息從一個消息傳遞給另一個消息 - 如果接收消息的進程不在那裏，那沒關係，但如果是，那麼它應該接收信息。該消息是一個Python字典。它看起來對我來說，多處理模塊應該做我想做的，但所有的例子我能找到之一：涉及過程 - 一個用於`multiprocessing.managers.BaseManager」衍生對象和兩個客戶端。參與啓動另一個

1熱度

1回答

使用多處理時重定向stderr.Pool

我想使用multiprocessing.Pool（python 2.7.13）產生多個進程，並將每個進程的stdout/stderr重定向到一個文件。問題是它適用於stdout，但不適用於stderr。這是一個單一過程的例子。 import sys import multiprocessing as mp def foo(): sys.stdout = open('a.out',

2熱度

2回答

我可以告訴Python的多處理池不要太遙遙領先嗎？

我有一些Python代碼，它使用multiprocessing.pool.Pool.imap_unordered在CPU綁定中並行創建一堆臨時文件。然後，我從結果迭代器中讀取文件名，在第二個磁盤綁定步驟中處理每個文件，然後刪除它們。通常磁盤綁定步驟是兩者中較快的，因此每個臨時文件在創建下一個臨時文件之前都會被處理和刪除。但是，在網絡文件系統上運行時，磁盤綁定步驟可能會變爲慢速步驟，在這種情況下，並

0熱度

1回答

multiprocessing.Pool執行從mysqldump到管道數據的並行子進程

我正在使用Python將數據從一個mysql數據庫傳送到另一個。下面是我一直在使用數月之久，其代碼輕輕抽象的版本，這得不錯： def copy_table(mytable): raw_mysqldump = "mysqldump -h source_host -u source_user --password='secret' --lock-tables=FALSE myschema m

0熱度

1回答

開始第二個進程時Python多處理錯誤

今天我開始進行多處理，當然有一些問題。創建兩個過程： import multiprocessing as mp # twitter parser twitterProc = mp.Process (target=TwitterProcess) twitterProc.start() # rss parser RssProc = mp.Process (target=RssProce

1熱度

1回答

在pygmo中使用隊列進行功能評估

長時間潛伏者，第一次海報。請讓我知道如何改善我的帖子！我試圖通過使用安裝Anaconda3優化pygmo 2.5圖書館現有的一些代碼，它們通過做彈道優化（這是POST2如果有人有興趣）可執行包裝異步和參數向量的分佈評價。爲了促進這一點，我使用多處理.SyncManager和multiprocessing.Queues通過網絡傳遞輸入並接收輸出和日誌消息。因此，在這種情況下，pygmo將選擇向量來

5熱度

1回答

可以安全地從Python中的線程調用多處理？

根據 https://github.com/joblib/joblib/issues/180和Is there a safe way to create a subprocess from a thread in python? Python多處理模塊不允許在線程內使用。這是真的？我的理解是，它很好地從線程中分叉，只要你沒有持有線程。當你這樣做時（在當前線程中？在進程中的任何地方？）。然而，Py

0熱度

1回答

過程不會與芹菜中的多處理模塊產生

我有一個非常標準的設置：Django + Rabbitmq +芹菜。我想在芹菜中產生一個使用標準python多處理模塊的進程。我注意到，過程本身並沒有產卵。什麼可能是沒有產生這個過程的原因。這裏是代碼： import multiprocessing as mp from celery.schedules import crontab from celery.decorators impor

3熱度

1回答

如何在Python中並行化Ising模型（多處理程序包）？

我有一個Python腳本，可以對一個2D晶格的Ising模型進行Monte Carlo模擬。 MC模擬是令人尷尬的平行，每個溫度的採樣可以分配到不同的線程。我想爲此使用多處理模塊，但是對於此包來說是新的。我怎樣才能做到這一點？ from __future__ import division import numpy as np from numpy.random import rand im