Python標記化：標記位置

Question

Python的標記化將所有找到的標記的位置作爲（startRow，startCol）和（endRow，endCol）的兩個元組返回。

有沒有辦法將位置作爲從字符串開始處的偏移量返回？也就是說，我想擺脫（行，列）而只是「偏移」。

Answer 1

沒有一個內置到tokenize。

如果您有權訪問由標記器使用的相同行集，則可以運行並將累積的「行X之前的行的總長度」存儲到列表中，然後使用它來轉換行值轉換爲附加偏移量。

例如：

import tokenize 

def tokens_with_offset(path): 
    line_offsets = [] 
    line_offset_accum = 0 
    with open(path) as f: 
     for line in f: 
      line_offsets.append(line_offset_accum) 
      line_offset_accum += len(line) 

    with open(path) as f: 
     for ttype, tstring, tbegin, tend, tline in tokenize.generate_tokens(f.readline): 
      offset_begin = line_offsets[tbegin[0]] + tbegin[1] 
      offset_end = line_offsets[tend[0]] + tend[1] 
      yield ttype, tstring, offset_begin, offset_end, tline 

（注：沒有測試此代碼，它更是一般概念的一個例子）