python-multiprocessing

0熱度

1回答

我有一個應用程序，它包含一個wxPython GUI，它在初始化時啓動監視器觀察者和python進程。 class MonitorApp(wx.App): def __init__(self): wx.App.__init__(self, True, 'monitor_stderr.log', False, False) self.q = Queue()

1熱度

2回答

將多進程池內循環（進程間共享內存）

我正在使用Python軟件包「deap」來解決遺傳算法的一些多目標優化問題。這些功能可能非常昂貴，並且由於GA的進化性質，它的複雜性非常快。現在這個包確實有一些支持，以允許演化計算與多進程並行化。但是，我想更進一步並多次運行優化，並在一些優化參數上使用不同的值。例如，我可能想用權值的不同值來解決優化問題。這似乎是一個非常自然的循環案例，但問題是這些參數必須在程序的全局範圍內定義（即在「main

0熱度

1回答

PyMongo的批量寫入操作功能與多處理和發電機

PyMongo supports發電機批處理與sDB.insert(iter_something(converted))。批量寫入操作功能，可批量執行寫入操作，以減少網絡往返次數並提高寫入吞吐量。下面的代碼看起來可行，但我不知道PyMongo是否仍然能夠將生成器和多處理器一起迭代，直到它產生了1000個文檔或16MB數據，然後在批處理插入到MongoDB時暫停生成器。 #!/usr/bin/en

1熱度

3回答

限制一次從python腳本運行的進程數

我正在運行一個啓動子進程以通過rsync執行備份的備份腳本。不過，我無法限制它一次啓動的rsyncs數量。這裏是我目前工作的代碼： print "active_children: ", multiprocessing.active_children() print "active_children len: ", len(multiprocessing.active_children())

0熱度

1回答

Python 3多處理：內部和超時錯誤處理和回調

我正在嘗試使用Pool.starmap_async來運行一些採用多個參數作爲輸入的代碼，以便快速掃描參數空間。代碼運行一個有時不會收斂的linalg函數，而是拋出一個np.linalg.LinAlgError。在這種情況下，我希望我的代碼返回np.nan，並繼續其快樂的方式。理想情況下，我也希望指定一個超時，以便代碼在設定的秒數後放棄並繼續到不同的參數組合。 # This is actually

1熱度

1回答

python matplotlib animation使用多重處理時保存錯誤

我創建了一個matplotlib動畫，它通過文件中的一系列圖像運行。我可視化的文件通常非常大，並且每個圖像堆棧都有相當長的加載時間（約5秒）。我設法通過使用多處理功能錯開加載過程來讓動畫順利運行，但我無法將動畫另存爲視頻文件。下面的代碼： from matplotlib import animation import pylab as plt import numpy as np impo

1熱度

2回答

對熊貓數據幀的多處理。基於輸入大小的混淆行爲

我試圖實現類似df.apply的函數，但跨數據塊的並行化。我寫了下面的測試代碼，看看我是多麼可能獲得（與數據複製等）： from multiprocessing import Pool from functools import partial import pandas as pd import numpy as np import time def df_apply(df, f):

7熱度

1回答

使用多處理模塊的腳本不終止

以下代碼不打印"here"。問題是什麼？我在兩臺機器上測試了它（Windows 7，Ubuntu 12.10）和 http://www.compileonline.com/execute_python_online.php 它在所有情況下都不打印"here"。 from multiprocessing import Queue, Process def runLang(que):

2熱度

1回答

多處理/多線程 - 不提高速度 - Python

我是多處理/多線程模塊中的新手，我試圖檢查它是否可以提高我的程序速度。問題是它返回意外的值。我也試過threading.Thread而不是multiprocessing.Process，發生同樣的問題 - 運行速度比不使用另一個線程慢。在這個例子中，我使用了多處理模塊，但是當我嘗試多線程（差異在註釋中）時，它幾乎相同下面是打印2個函數順序運行的時間和這些函數並行運行的時間： import ti

7熱度

1回答

如何命名multiprocessing.pool中的進程？

如果我創建4名工人池，並設置他們做一些任務（使用pool.apply_async(..)），我可以從內使用multiprocessing.current_process().name訪問每一個進程的名字，但我設置爲從父進程名稱（這主要是如何記錄）？