使用java hashmap的n-gram建模

Question

我需要模擬n-gram（n個單詞的序列）及其上下文（出現在n-gram附近的單詞以及它們的頻率）的集合。我的想法是這樣的：

public class Ngram { 

    private String[] words; 
    private HashMap<String, Integer> contextCount = new HashMap<String, Integer>(); 
} 

然後，對於所有不同的n-gram的數量，我用另一個是HashMap，像

HashMap<String, Ngram> ngrams = new HashMap<String, Ngram>(); 

，我添加到它，而接收文本。問題是，當n-gram的數量超過10,000個時，JVM Heap會填滿（最多設置爲1.5GB），而且一切都會非常糟糕。

有沒有更好的方法來做到這一點，所以要避免這種內存消耗？此外，上下文應該很容易在n-gram之間進行比較，但我不確定是否可以使用我的解決方案。

Answer 1

您可以使用HADOOP MapReducer作爲巨大的數據庫（通常用於Bigdata）。使用Mapper將輸入拆分爲Ngrams和組合器和映射器，以完成您想要對這些Ngrams執行的任何操作。

HADOOP uses <Key,value> as like you wish to process with Hashmap. 

我想它的東西就像分類。所以很適合。但它需要集羣。

如果可能，最好從開始Hadoop權威指南（Orielly出版物）。

Answer 2

也許你已經找到了解決你的問題，但有一個非常好的做法，以大規模的語言模型對本文：

平滑布隆過濾器語言模型：在便宜

萬億級的LM

http://acl.ldc.upenn.edu/D/D07/D07-1049.pdf