許多尺寸的可還原尺寸減少

Question

是否有一個尺寸減小技術列表可逆（我可以在子流形和原始空間之間來回移動）並且可以很好地擴展到大尺寸（> 100萬尺寸）？矢量非常稀疏。理想情況下，我可以在少數示例中找到一個感興趣的子空間（減少至約10k維），然後在子空間上訓練類似自編碼器的內容以進行精細控制。

• 由於具有> 1M輸入大小的FC層變得非常難以記憶明智，所以直接進行自動編碼器可能不在圖中。
• PCA是一個選項，但具有巨大的內存佔用。
• 隨機投影似乎沒有辦法恢復到原始空間？

謝謝！從scikit-learn

Answer 1

兩名候選人（可能有更多）：

• Incremental PCA：批量樣
• Truncated SVD：稀疏

有更多的支持inverse_transform，但我只花了的那些支持稀疏輸入或批量操作。

即使使用稀疏輸入，保持10k維度聽起來內存密集程度也很高。