使用Map Reduce或多線程/多處理的小文件

Question

我有一批大約45 kb的500個文件。每個文件需要大約87840次計算（ARIMA迴歸問題）。而且每個計算都是獨立的。

鑑於此，爲此類問題開發解決方案的最佳方法是什麼。

彈性映射是否減少了走向，還是應該使用多核處理器和多線程？

Answer 1

如果每個計算都是獨立的，那麼多線程將是一個糟糕的想法，因爲您遇到與此相關的共享堆和序列化問題。如此彈性的map-reduce或者只能訪問多核機器，然後使用多處理。