矩陣的維數減少TFIDF

Question

我計算TFIdf（術語頻率，逆文檔頻率），我已經看到在這一步之後，有必要使用像LSI，chi-square檢驗等方法來減少My Matrix的維數。

我還沒有任何想法如何我可以在java中實現卡方檢驗矩陣TFIDF的維度減少，如果有一些庫來做到這一點或教程，他們解釋了我可以做到這一點，告訴我請

Answer 1

我不認爲你想做卡方;這不是降維的技術。

你想要做的是SVD或奇異值分解。這是LSI/LSA用於降維的技術。

維基百科建議在Java中使用名爲'S-Space Pacakage'的LSA庫。我自己並沒有使用過它，但你可能想看看它。

http://code.google.com/p/airhead-research/

Answer 2

使用LSA，LDA的gensims庫。 它實際上可以爲任何大型數據集執行LSA。它不會一次將整個語料庫加載到內存中，而是進行懶讀。