source-code-tokenizer:用Python编写的简单库，其中包含用于多种编程语言的标记器-C language ...

源代码令牌 重要的： 该存储库代码仍然是最终软件包的不完整版本； 它可能包含一些错误。 安装： 点+ git pip install git+https://github.com/matteogabburo/source-code-tokenizer.git 支持的语言： Python C C ++ Java JS 用法： Python令牌生成器 # Import the right module from source_code_tokenizer import PythonTokenizer # Instantiate the tokeizer tokenizer = PythonTokenizer () code_example = """ # the hello world program