提高預處理大量文檔集的性能

Question

我正在使用Java處理與剽竊檢測框架相關的項目。我的文檔集包含大約100個文檔，我必須對它們進行預處理並存儲在合適的數據結構中。我有一個很大的問題，我將如何高效地處理大量文檔並避免瓶頸。主要關注我的問題是如何提高預處理性能。

感謝

問候 Nuwan

Answer 1

你給上作出任何好的建議很少的信息。

我的默認設置是使用一個執行程序來處理它們，該執行程序的線程池的線程數與每臺線程處理文檔的核心數相同。

Answer 2

你在這方面有點缺乏細節。適當的優化將取決於文檔格式，平均文檔大小，您如何處理它們以及您在數據結構中存儲什麼類型的信息等內容。不知道其中任何一個，一些通用的優化是：

1. 假設給定文件的前處理是獨立於任何其他文件的預處理，並假設你正在運行一個多核心CPU ，那麼你的工作量是多線程的一個很好的候選者。爲每個CPU核心分配一個線程，並將作業排除在線程之外。然後您可以並行處理多個文檔。

2. 更一般地說，儘可能在內存中儘可能多地做。儘量避免讀取/寫入磁盤。如果您必須寫入磁盤，請嘗試等待，直到獲得所有要寫入的數據，然後將其全部寫入單個批處理中。