NLTK CFG遞歸深度誤差

Question

import nltk 
from nltk.parse.generate import generate,demo_grammar 
from nltk import CFG 
grammar = CFG.fromstring(""" 
ROOT -> S 
S -> NP VP 
NP -> NP PP 
NP -> DT NN 
DT -> 'The' 
NN -> 'work' 
PP -> IN NP 
IN -> 'of' 
NP -> DT NN 
DT -> 'the' 
NN -> 'painter' 
VP -> VBZ ADJP 
VBZ -> 'is' 
ADJP -> JJ 
JJ -> 'good' 
""")  
print(grammar) 
for sentence in generate(grammar, n=100): 
    print(' '.join(sentence)) 

給出了一個錯誤

RuntimeError: maximum recursion depth exceeded while calling a Python object 

試圖改變在functools.py隱蔽功能，還是同樣的問題。

Answer 1

函數generate作爲其文檔字符串狀態「生成CFG中所有句子的迭代器」。顯然，它通過按文件中列出的順序選擇替代擴展來實現。所以，第一次看到一個NP，它用規則NP -> NP PP擴展它。它現在有另一個NP擴大，它也擴大與相同的規則......等等無限期，或者直到超過python的限制。

要解決與您提供的語法問題，只需重新排序前兩個NP規則，使遞歸規則不是第一個遇到的：

grammar = CFG.fromstring(""" 
ROOT -> S 
S -> NP VP 
NP -> DT NN 
NP -> NP PP 
DT -> 'The' 
... 
""") 

做這樣的信號發生器將產生大量的完整的句子供你審查。請注意，正確的語法仍然是遞歸的，因此是無限的;如果您生成足夠多的句子，您最終將達到相同的遞歸深度限制。

Answer 2

我試圖對NP NN DT等重複出現的次數進行編號。似乎解決了由於唯一標識（我假設）所導致的問題。令我感到奇怪的是，本來應該是這樣的，即拋出的樹木應該已經連續化了詞類。

import nltk 
from nltk.parse.generate import generate,demo_grammar 
from nltk import CFG 
grammar = CFG.fromstring(""" 
ROOT -> S 
S -> NP VP 
NP -> NP1 PP 
NP1 -> DT1 NN1 
DT1 -> 'The' 
NN1 -> 'work' 
PP -> IN NP2 
IN -> 'of' 
NP2 -> DT2 NN2 
DT2 -> 'the' 
NN2 -> 'painter' 
VP -> VBZ ADJP 
VBZ -> 'is' 
ADJP -> JJ 
JJ -> 'good' 
""")  
print(grammar) 
for sentence in generate(grammar, n=100): 
    print(' '.join(sentence))