從預處理文本中提取SVO三元組

Question

我需要從荷蘭文本中提取主體 - 動詞 - 對象三元組。文本由名爲Frog的荷蘭NLP工具進行分析，該工具進行了標記，解析，標記，詞形化......等等。 Frog生成FoLiA XML或製表符分隔的列格式輸出，每個標記一行。由於XML文件存在一些問題，我選擇使用列格式。這個例子代表一個句子。 現在我需要提取每句SVO三元組，因此我需要最後一列是依賴關係。所以我需要獲取ROOT元素和屬於ROOT的su和obj1元素。不幸的是，例句中沒有obj1。讓我們假裝它已經。我的想法是首先爲每個句子創建一個帶有列表的嵌套列表。

import csv 
    with open('romanfragment_frogged.tsv','r') as f: 
     reader = csv.reader(f,delimiter='\t') 
     tokens = [] 
     sentences = [] 
     list_of_sents = [] 
     for line in reader: 
      tokens.append(line) 
      #print(tokens) 
      for token in tokens: 
       if token == '1': 
        previous_sentence = list_of_sents 
        sentences.append(previous_sentence) 
     list_of_sents = [] 
     list_of_sents.append(tokens) 
     print(list_of_sents) 

當我打印「令牌」，我得到一個列表中的所有令牌。所以這是正確的，但我仍然試圖創建一個嵌套列表，每個句子有1個列表（標記）。 有人可以幫我解決這個問題嗎？

（PS的第二個問題是，我不知道，該如何繼續，一旦我得到一個嵌套列表）

Answer 1

也許這樣的事情可以工作：

def iter_sentences(fn): 
    with open(fn, 'r') as f: 
     reader = csv.reader(f,delimiter='\t') 
     sentence = [] 
     for row in reader: 
      if not row: 
       # Ignore blank lines. 
       continue 
      if row[0] == '1' and sentence: 
       # A new sentence started. 
       yield sentence 
       sentence = [] 
      sentence.append(row) 
     # Last sentence. 
     if sentence: 
      yield sentence 

def iter_triples(fn): 
    for sentence in iter_sentences(fn): 
     # Get all subjects and objects. 
     subjects = [tok for tok in sentence if tok[-1] == 'su'] 
     objects = [tok for tok in sentence if tok[-1] == 'obj1'] 
     # Now try to map them: find pairs with a head in the same position. 
     for obj in objects: 
      for subj in subjects: 
       # row[-2] is the position of the head. 
       if subj[-2] == obj[-2]: 
        # Matching subj-obj pair found. 
        # Now get the verb (the head of both subj and obj). 
        # Its position is given in the second-to-last column. 
        position = int(subj[-2]) 
        # Subtract 1, as the positions start counting at 1. 
        verb = sentence[position-1] 
        yield subj, verb, obj 

for subj, verb, obj in iter_triples('romanfragment_frogged.tsv'): 
    # Only print the surface forms. 
    print(subj[1], verb[1], obj[1]) 

快速的解釋： iter_sentences迭代句子。 每個句子都是一個嵌套列表： 它是一個標記列表，每個標記本身就是一個列表（包含行號，表面形式，引理，POS，依賴關係等）。 iter_triples函數遍歷三元組 。 這些三元組中的每個元素都表示一個標記（即，也是一個列表）。

最後三行代碼只是如何使用iter_triples函數的一個例子。 我不知道你需要從每個三元組中得到多少和哪些信息...