matlab特殊符号代码-sctokenizer:源代码标记器

matlab特殊符号代码标记生成器 源代码标记器 支持这些语言： C, C++, Java, Python, PHP 如何安装 pip install sctokenizer 如何使用 使用sctokenizer ： import sctokenizer tokens = sctokenizer . tokenize_file ( filepath = 'tests/data/hello_world.cpp' , lang = 'cpp' ) for token in tokens : print ( token ) 或者创建新的CppTokenizer ： from sctokenizer import CppTokenizer tokenizer = CppTokenizer () # this object can be used for multiple source files with open ( 'tests/data/hello_world.cpp' ) as f : source = f . read () tokens = tokenizer . tokenize