UTF-8法（柔性）

Question

我有以下定義指定一個詞法分析器：

ws  [ \t\n]+ 
punc   (\.|\,|\!|\?) 
word  ({punc}|[a-zA-Z0-9])* 
special   (\%|\_|\&|\$|\#) 

我有我需要分析一些UTF-8的文件，自然它吹，當談到那些字符。我知道過去曾經有過幾次類似的問題，但他們沒有任何幫助。我試圖用this答案給出的方法，但我失敗了。我猜這個問題在上面的word的定義中？

如果有人可以提供關於在flex中使用UTF-8編碼的一般概念的詳細信息，那將非常有用。

Answer 1

嘗試（過程-with柔性-8）：

%% 
ws  [ \t\n]+ 
punc   (\.|\,|\!|\?) 
word  ({punc}|[a-zA-Z0-9\x80-\xf3])* 
special   (\%|\_|\&|\$|\#) 

%% 

（編碼有點粗粒度...）由OP的文件檔案鏈接，導致Kaz's anwer更加準確，WRT允許的序列。