如何在大量文本中找到常見短語

Question

我正在研究一個項目，此時我需要挑出大量文本中最常見的短語。例如說我們有三句話像下面這樣：

• 狗跳下過的女人。
• 狗跳進入車內。
• 狗跳上樓。

從上面的例子我想提取「狗跳下」，因爲它是在文本中最常見的詞組。起初我想，「哦，讓使用有向圖[反覆節點]」：

directed graph http://img.skitch.com/20091218-81ii2femnfgfipd9jtdg32m74f.png

編輯：抱歉，我犯了一個錯誤，同時使該圖「超過」，「進」和「up」應該都鏈接回「the」。我將保持每個節點對象（「t​​he」將是6;「dog」和「jump」，3等）的次數（但是儘管存在許多其他問題），主要當我們添加幾個例子（請忽略錯誤的語法:-)）：

• 狗狗上下跳動。
• 狗跳得像沒有狗一樣跳過。
• 狗跳得高興。

我們現在有一個問題，因爲「狗」將開始一個新的根節點（在同一級別爲「」），我們將無法識別「狗跳下」因爲現在是最常見的短語。所以現在我想也許我可以使用一個無向圖來映射所有單詞之間的關係，並最終挑出常用短語，但我不確定這是怎麼運作的，因爲你失去了訂單之間的重要關係的話。

因此，沒有人有關於如何識別大量文本中的常見短語以及我將使用何種數據結構的一般想法。

感謝， 本

Answer 1

退房此相關的問題：What techniques/tools are there for discovering common phrases in chunks of text?還涉及到the longest common substring problem。

我已經發布過，但我使用R來處理我所有的數據挖掘任務，它非常適合這種分析。尤其要看tm包。下面是一些相關鏈接：

• 紙關於包在期刊統計計算的：http://www.jstatsoft.org/v25/i05/paper。這篇論文包含了一個很好的例子，分析了2006年的R-devel 郵件列表（https://stat.ethz.ch/pipermail/r-devel/）新聞組發佈。
• 包裝主頁：http://cran.r-project.org/web/packages/tm/index.html
• 看介紹小插曲：http://cran.r-project.org/web/packages/tm/vignettes/tm.pdf

更一般地，有大量的文本挖掘包on the Natural Language Processing view on CRAN的。