使用ruby創建常用單詞或短語列表

Question

尋找一些關於從nosql數據庫中的一堆條目生成常用單詞和短語列表的建議。基本上我們有一些由某人制作的帖子，我們想告訴他們「你好，你用這些詞/短語很多」。

我對這一個有點難住。

我的應用程序在rails，backbone-js和redis上是ruby。

Answer 1

因爲它是不明確的職位是如何存儲，我就假設你可以得到所有的樁的陣列。

一個簡單的算法來找到最常用的生僻字會是以下幾點：遍歷所有的帖子陣列上，然後從什麼，但話剝離後，並將其分割成單詞。查看條目中的所有單詞，並將您看過該單詞的次數加1。一旦完成了所有條目中的所有單詞，就會得到所有單詞出現次數的散列。刪除最常見的單詞，這裏是100 common words的示例。您應該在應用程序中使用更多。按發生的次數對它們進行排序，並且會出現最常出現的單詞。

它實現here。它不處理如posts爲post的情況，您可能需要這樣的情況。你可以看看Rails如何實現String#singular來獲得這種行爲。

如果你想找到常用短語也變得更有趣，你可能不得不使用某種類型的自然語言處理作爲@sawa在評論中指出。我無法想出一個速度足夠快的解決方案。