2
我一直在使用Gensim試驗LDA主題建模。我似乎無法在Gensim中找到任何主題模型評估工具,它可以報告關於評估文本的主題模型的困惑,從而有助於隨後對LDA參數(例如主題數量)進行微調。如果有人能夠闡明我如何在Gensim中進行主題模型評估,我們將不勝感激。這個問題也被張貼在metaoptimize上。Gensim中的主題模型評估
我一直在使用Gensim試驗LDA主題建模。我似乎無法在Gensim中找到任何主題模型評估工具,它可以報告關於評估文本的主題模型的困惑,從而有助於隨後對LDA參數(例如主題數量)進行微調。如果有人能夠闡明我如何在Gensim中進行主題模型評估,我們將不勝感激。這個問題也被張貼在metaoptimize上。Gensim中的主題模型評估
在gensim mailing list上找到了answer。
簡而言之,LdaModel的bound()方法基於伸出的語料庫計算困惑度的下限。
從gensim 0.8.9開始,你也可以使用'model.log_perplexity(holdout)',這是一個方便的包裝器。 – Radim