threadpool

    1熱度

    1回答

    我正在研究一個腳本,它可以擦除數千個不同的網頁。由於這些網頁通常是不同的(有不同的網站),我使用多線程來加快抓取速度。 編輯:SIMPLE簡短說明 ------- 我加載300周的網址(HTMLS)在300名員工中的一個池。由於html的大小是可變的,有時候,大小的總和可能太大,python會增加:internal buffer error : Memory allocation failed :

    1熱度

    1回答

    我剛剛開始瞭解如何使用BlockingQueue(數組或鏈接),我想知道排隊如何影響資源(CPU,內存等)? 整個隊列開始成爲服務器問題的大小(不是線程數量而是比例更大)?

    3熱度

    1回答

    並行線程我有1點的方法,我想在10個不同的並行線程運行在最大任務,都將是獨立存在於彼此之間沒有相關性,我的問題是,如果我有100個項目來處理,並想在一次處理10那麼如何在運行10做一次。我創建了那裏我使用Parallel.ForEach但一個示例代碼我需要做什麼來設置,所以應該在同時運行10個線程,並假設任何正在運行的任務已經完成了,那麼它應該自動採取新的,所以所有的10個線程應該的一直忙着工作,

    0熱度

    1回答

    我讀了一些javadoc和我遇到this example from ThreadPoolExecutor.afterExecute(...) javadocs: class ExtendedExecutor extends ThreadPoolExecutor { // ... protected void afterExecute(Runnable r, Throwable

    1熱度

    1回答

    我有一個循環,我一直在努力加快。我注意到Python只使用單核,所以我導入了多處理程序包並設置了一個池。現在整個過程分佈在多個內核上,但似乎只限於〜10%。 這是預期的/最佳的嗎?或者有沒有辦法從每個核心利用更多? 代碼: from multiprocessing.dummy import Pool as ThreadPool //...more code here... pool = T

    1熱度

    2回答

    我想從Python爲大約8000個文件啓動外部命令。每個文件都是獨立處理的。唯一的限制是所有文件都被處理後繼續執行。我有4個物理核心,每個核心有2個邏輯核心(multiprocessing.cpu_count()返回8)。我的想法是使用四個並行獨立進程池,這些進程將在8個內核中的4個內核上運行。這樣我的機器在此期間應該可以使用。 這是我一直在做的事情: import multiprocessing

    0熱度

    1回答

    這裏的時候拒絕是我的代碼: class Processor implements Runnable { private int id; private Integer interaction; private Set<Integer> subset; private static volatile AtomicBoolean notRemoved = ne

    0熱度

    1回答

    我遇到了命名管道的問題。如果說30個客戶端管道都試圖同時連接到本地管道服務器,在4核心機器上,則會發生超時或信號量超時。有時候,最長的時間,一個客戶端需要一秒鐘才能獲得連接。再下一秒等等。我認爲本地管道訪問應該是快速的。爲什麼30個客戶端 - 即使100個客戶端需要相同的時間 - 也只需要1000毫秒就能建立一個連接? using System; using System.Diagnostics

    0熱度

    1回答

    我需要實現一個定期計時器(10秒),它將檢查一些更改並更新數據庫和UI。我需要等到「作業」完成,然後再次啓動計時器。我打電話 timer.Cancel() 「Job」開始,然後在完成時再次創建計時器。但似乎當我使用使用async關鍵字的工作項處理程序時,線程池工作項可能會在處理程序中的所有代碼執行之前設置爲完整狀態。 查看全部代碼: private bool IsStop = false;

    3熱度

    1回答

    This question指boost::threadpool::pool,並有關於它的here on sourceforge文檔,但在boost docs我找不到它。 爲什麼叫提升,如果它不是提升? PS:我知道如何使用Boost :: ASIO的io_service創建一個線程池,但我想了解這個boost::threadpool是什麼。