使用分佈式計算減少地圖減少尺寸？

Question

你知道一個應用程序或算法來降低大數據的維度，也許使用Map-Reduce，或其他api，也：

• 你知道一些算法，如 Singular Value decomposition比 可以減少漁政有用 數據集

• 如何使用分佈式計算到 解決這個???

Answer 1

看看Mahout，因爲SVD是在那裏實現的。

Answer 2

除了Mahout，你應該看看SLEPc（這是一個基於PETSc的工具包），用於求解超大型稀疏矩陣的特徵值問題。它使用MPI，因此它將運行在許多不同的並行和分佈式體系結構上。還有用P​​ython編寫的Gensim。它可能不像Mahout或SLEPc那樣具有可擴展性，但使用起來更容易。