如何找到大量功能的相似性

Question

我不知道如果我是在正確的地方問問題，因爲我是新的stackoverflow，請移動如果需要。

我正試圖解決Flickr數據集的鏈接預測問題。我的數據集有5K個節點，每個節點有大約27K個特徵，它很稀疏。

我想找到節點之間的相似性，以便我可以預測它們之間的鏈接，如果相似度值大於我決定的某個閾值。問題在於功能的數量。我無法加載Weka中的文件（嘗試通過某些信息增益或某事來減少功能，然後嘗試羣集或檢查餘弦相似性度量）

還有一個問題是，如何將此定義爲分類問題？我想爲兩個節點找到重疊的標籤，所以表中包含節點和它們的一些特徵（將有成千上萬個），並且它們都將是正類，因爲我知道它們之間存在鏈接。

我想用一些節點創建一個測試數據集並創建類似的表並將它們標記爲正類或負類。但我的問題是我擁有的所有數據都是正面的，所以我認爲它永遠不會被標記爲負面。如何正確地將其更改爲分類問題？

任何指針或幫助非常感謝。

Answer 1

Weka可以處理27K的特徵，它不應該成爲一個問題......但是，我將這個問題作爲分類問題來處理，但是鏈接發現之一，在這種情況下可以看作是一個匹配問題。

我的做法是：1。 新節點出現 2.搜索最相似的元素 3.認爲它們是相關（有鏈接）如果相似度比你的閾值。

主要問題是根據某種質量度量調整閾值。

對於這種方法，Lucene可能是最好的選擇。

我希望這會有所幫助。