水平馬爾可夫化

Question

我必須實現水平馬爾可夫化（NLP概念），並且我在理解樹的外觀時會遇到一些麻煩。我一直在閱讀Klein and Manning paper，但他們沒有解釋第2階或第3階水平馬爾可夫化的樹會是什麼樣子。有人能夠對算法和樹木被支撐的樣子有所瞭解嗎？我對NLP比較陌生。

Answer 1

所以，讓我們說你有一堆像平板規則：

NP 
    NNP 
    NNP 
    NNP 
    NNP 

或

VP 
    V 
    Det 
    NP 

當二值化，這些要保持上下文（即這是不是隻是一個Det，但特別是一個Det跟隨一個動詞作爲VP的一部分）。要做到這一點，你正常使用註釋是這樣的：

NP 
    NNP 
    NP->NNP 
     NNP 
     NP->NNP->NNP 
      NNP 
      NP->NNP->NNP->NNP 
       NNP 

或

VP 
    V 
    VP->V 
     Det 
     VP->V->Det 
      NP 

您需要二值化樹，但這些註釋並不總是非常有意義的。它們對於動詞短語的例子可能有點意義，但是你真正關心的另一個例子是名詞短語可以是一串相當長的專有名詞（例如「Peter B. Lewis Building」或「Hope Memorial Bridge Project」週年」）。因此，通過水平馬爾可夫化，您可以稍微摺疊一些註釋，丟棄一些上下文。馬爾可夫化的順序是你要保留的上下文的數量。因此，對於正常的註釋，您基本上處於無限次序：選擇保留所有上下文並且不進行任何摺疊。

訂購0意味着你要放棄所有的背景下，你會得到一棵樹沒有花俏的註釋，像這樣：

NP 
    NNP 
    NNP 
     NNP 
     NNP 
      NNP 
      NNP 
       NNP 

訂購1意味着你將只保留一個上下文的期限和你會得到一棵樹是這樣的：

NP 
    NNP 
    NP->...NNP **one term: NP->** 
     NNP 
     NP->...NNP **one term: NP->** 
      NNP 
      NP->...NNP **one term: NP->** 
       NNP 

訂購2意味着你將保持關聯的兩個詞，你會得到這樣的樹：

NP 
    NNP 
    NP->NNP **two terms: NP->NNP** 
     NNP 
     NP->NNP->...NNP **two terms: NP->NNP->** 
      NNP 
      NP->NNP->...NNP **two terms: NP->NNP->** 
       NNP 

Answer 2

我相信這個想法是在估計規則概率時考慮垂直馬爾可夫化和同胞節點的父節點，並且順序表示它們中包含了多少個節點。父母註釋here有一張不錯的圖片。

此外，從http://www.timothytliu.com/files/NLPAssignment5.pdf報價：

接近詞彙化，增加更多的信息到每個樹的父 節點。這正確區分不同的 附件以及是否向左分支或向右分支。 水平馬爾可夫化是通過在樹被二元化時跟蹤兄弟姐妹 來完成的。垂直馬爾可夫化由 完成，以跟蹤樹中節點的父節點。這些創建新的 依賴項，因爲現在規則是深度和寬度的組合。