動態優化線程數

2013-05-17 42 views 1 likes

我有兩個不需要太多計算的IO密集型進程：一個是獲取並解析網頁，另一個是將通過解析獲得的一些數據存儲在數據庫中。在網絡抓取繼續進行的同時，這將會重複。動態優化線程數

是否有一種方法可以動態地增加和減少在每個任務上工作的線程數，因此對於整個系統運行的機器來說性能是最佳的？該方法不應涉及基準測試，因爲它將被分發到許多我事先無法訪問的機器。

請引導我一些來源或信息。

2013-05-17 Pedro Montoto García

一些指南http://parsec.cs.princeton.edu/publications/iiswc62-pusukuri.pdf –

使用* ['FixedThreadPool']（http://docs.oracle.com/javase/7/docs/api /java/util/concurrent/Executors.html#newFixedThreadPool%28int%29)*，其他部分參見* [this]（http://stackoverflow.com/questions/1980832/java-how-to-scale-threads -according-to-cpu-cores）* post。 –

回答

不是直接使用線程，而應該創建一個ThreadPool，並在其中添加一些Runnable，它們可以完成實際的工作。根據您的描述，CachedThreadPool可能是合適的。查看http://docs.oracle.com/javase/7/docs/api/java/util/concurrent/ExecutorService.html瞭解如何實施的一些指導原則。

來源

2013-05-17 17:00:43

那麼動態調整線程數應該沒有問題（例如使用ThreadPoolExecutor）。

但它看起來對我來說，最佳線程數是由兩個因素的限制：

爲貴「的下載線程」的網絡帶寬
爲貴「的數據庫允許的數據庫連接的最大數目線程「

我不確定下載部分是否應該是多線程的，因爲每個線程只會從其他線程竊取帶寬，除非頁面非常小。

來源

2013-05-17 16:52:17 weaselflink

相關問題

11. 優化動態壁紙
12. 優化動態UILabel創建
13. 動態添加Raddocks優化？
14. R優化線性函數
15. 動態規劃優化硬幣變化
16. RrequireJS優化和負載動態路徑優化
17. 優化帆布動畫（正弦曲線）
18. Java多線程渲染，如何優化
19. 優化線程同步檢查
20. Mahout的優化：多線程TopItems.getTopUsers（）和TopItems.getTopItems（）
21. 多線程/優化Python請求？
22. Matlab的：非線性方程優化
23. WPF優化加載UI線程
24. QPID C++客戶端多線程優化
25. 使用多線程優化python腳本
26. 在優化，線程安全的方式
27. python中的多線程優化
28. Python使用多線程優化？
29. 動態線程池
30. C++動態線程