爲什麼我的文本集羣會執行此操作

Question

我有一個包含產品名稱的未標記數據集。例如，棒球衫，夾克衫，活躍的經典拳擊手等。

我創建了一個tf-idf矩陣與數據，然後我在矩陣上運行k-means。我繪製平方的內羣集總和以發現是5

聚類後我想出文件

# cosine similarity between each document 
from sklearn.metrics.pairwise import cosine_similarity 
dist = 1.0 - cosine_similarity(tfidf_matrix) 
print dist 

之間的餘弦相似性的最佳10k，則我用DIST MDS將其降低到2尺寸以便我可以繪製羣集

from sklearn.manifold import MDS 
mds = MDS(n_components=2, dissimilarity="precomputed", random_state=1) 
xs, ys = pos[:, 0], pos[:, 1] 

羣集圖除了圓周外看起來還不錯。它有這樣做的原因嗎？其餘的集羣看起來像是圍繞着一個類似的區域聚集在一起。

Answer 1

TF-IDF只適用於長文本。

正因爲如此，幾乎每一份文件都完全不同於其他文件，而且它們也像這樣「扇出」。

我懷疑k-means是否有效。