當可視化失敗時檢測隱藏的未知模式

Question

我有一套快速的多維時基數據，我懷疑包含模式。我簡化了數據集以創建一個自定義可視化。

人類在可視化中看到圖案，但圖案的結果無法用可視化來解釋。這是因爲簡化步驟，它隱藏了重要的數據。

我無法將所有數據放入可視化原因中，因爲太多的數據和維度都是可視化的，人類無法再看到可能的模式。

有沒有一種技術可以檢測數據集中隱藏的未知模式？ （沒有使用可視化，也沒有我學習技術模式）。

一個可選的額外可能是該技術應該以某種方式向我「解釋模式」，以便我可以檢查它們是否有意義。

我可以給這項技術提供小型數據集（從大數據集提取;仍然非常多維），我知道包含模式（通過使用我的可視化）的集合。然後該技術需要分析模式產生結果a或結果b的條件。

Answer 1

首先，您是如何「簡化」數據的？如果你沒有使用任何啓發式技術，你可以繼續並執行PCA。 PCA的想法是解決您的問題：在減少尺寸的同時不丟失「重要」數據。您可以將您的主要組件可視化，以便可以通過人眼和算法檢測圖案。

第二個問題：是的，有一些技術可以檢測數據中隱藏的未知模式。然而，這是一個巨大的領域（機器學習），你會使用什麼算法，取決於你的問題結構，所以現在不可能給出具體的型號名稱。從你指定的角度來看，神經網絡總的來說似乎適合做這項工作。在您訓練完網絡後，您可以將激活或權重（欣頓圖）可視化，以執行「同樣」對待哪些輸入數據的分析。