令牌生成

可能重複：
Is there a good Python library that can parse C++?令牌生成

我想Python來通過一個文件（.cpp文件）掃描，並使用內置的Python從它生成的令牌tokeniser.How可以實現嗎？

2011-07-27 neon

實際上，解析器會產生令牌，所以這可能會幫助你。 [http://stackoverflow.com/questions/1444961/is-there-a-good-python-library-that-can-parse-c](http://stackoverflow.com/questions/1444961/is-有一個很好的python-library-that-can-parse-c） – Kracekumar

@kracekumar：解析器吃掉令牌並生成語法樹。創建令牌是分詞器（或「詞法分析器」）的工作。 –

內置的tokenizer和ast的東西是用於解析Python，而不是其他語言如C++。您可能要查看GCC-XML。

來源

2011-07-27 10:49:56

回答

相關問題