multiprocess

    2熱度

    2回答

    我有大量數據文件需要通過函數A進行處理。假設有1000個文件,每個文件的每個進程只需不到15分鐘,6GB記憶。我的電腦有32GB和8個CPU,所以我最多可以使用4個進程(24GB內存和4個CPU)來保證安全。所以我的問題是,我可以在python中使用多進程包來創建4個進程,每個進程不斷獲得函數A來獨立處理數據文件,如下圖所示。很顯然,每個CPU必須處理約。 250個文件,但1000個文件的文件大小

    0熱度

    1回答

    在我的應用程序中,我想啓動另一個進程,其中有3個事件。我如何觸發/觸發事件,或者只是調用另一個進程中的函數? 我也想傳遞一些對象到另一個進程(即我的表單的文本框的處理程序)。 This example looks perfect,但我可以做到沒有TCP?即:對管道等。 糾正我,如果我錯了,但eventwaithandle不是我的解決方案,因爲每個 (3)事件將需要在自己的線程上阻止。 謝謝你在前進

    0熱度

    2回答

    我目前正在嘗試從多個進程登錄到單個文件,但我遇到了很多麻煩。我花了無數小時在網上查找 - stackoverflow和谷歌,但沒有提出具體的。 我已閱讀:How should I log while using multiprocessing in Python? 我一直在嘗試使用zzzeek的代碼,但它並沒有寫爲我的文件。我沒有具體的做法 - 我一直在盡我所能。 有沒有人有它的工作,並有示例代碼

    1熱度

    1回答

    我有這個腳本,它有它的工作,它有2個獨立的進程產生監聽線程殺死進程時,通過管道發送到監聽器。 from multiprocessing import Process, Pipe from threading import Thread import time subAlive = True testAlive = True def sub_li

    6熱度

    2回答

    運行的進程,下面的代碼似乎並沒有同時運行,而且我不知道確切原因: def run_normalizers(config, debug, num_threads, name=None): def _run(): print('Started process for normalizer') sqla_engine = init_sqla_from_config(c

    0熱度

    2回答

    我有這個多進程劇本我仿照它一前一後的問題,我發現這裏 http://broadcast.oreilly.com/2009/04/pymotw-multiprocessing-part-2.html class test_imports:#Test classes remove def import_1(self, control_queue, thread_number):

    1熱度

    3回答

    下面是一個例子。我有一個生產者和幾個消費者。 #!/usr/bin/env python2 from multiprocessing import Process, Queue import time def counter(low, high): current = low while current <= high: yield current

    0熱度

    1回答

    我正在做一個小型管道來咀嚼大量的數據,並且我決定使用python來調用使用多個內核的程序。 因此,這裏是我的問題: 1)程序輸出一個非常大的文本文件。我只希望將輸出保存到一個新文件中(所以不要將字符串保存爲python對象),使用子進程模塊執行此操作的最佳方法是什麼? 2)我希望多次使用多進程模塊並行調用程序。我通常只是簡單的使用Pool.map函數,這會干擾子進程模塊嗎? 在此先感謝!

    0熱度

    2回答

    我與我的halt_listener線程有問題。我可以開始import_1,但它不會產生halt_listener線程。我在已知的良好代碼之後對此進行了構造,唯一的區別是在最後一次迭代中,halt_listener得到了一個管道而不是一個隊列。 class test_imports:#Test classes remove alive = {'import_1': True, 'impo

    0熱度

    1回答

    我在調用SSIS包的字符串數組中有多個命令。 爲了利用硬件,我希望一次運行多個軟件包,等待一個完成後再添加另一個軟件包。通過觀察上的其他類似的問題,我覺得像這樣的工作: cls $commands = @() $commands += "notepad.exe" $commands += "notepad.exe" $commands += "notepad.exe" $commands