简单的词法分析程序.pdf

这是一个简单的词法分析程序，采用map做映射，完成Token中由名到值的转换，通过字符串流，把文件中的内容全部读入字符串s,对这个字符串s做预处理，去除多余空白符，去除注释，预处理函数可以把任何程序处理成最直接方便处理的字符串。主函数处理的时候，就按各单词分类来做即可，分类有：以字母开头的串，以数字开头的串，特殊符号(可以原版输出的)，需要处理的符号这四类。