pythontokenizer是什么_python.pdf
需积分: 10 20 浏览量
2023-03-14
23:37:40
上传
评论
收藏 196KB PDF 举报
pythontokenizer是什么_python 词法分析器PyTokenizer
Python中执⾏程序可分为5个步骤：
Tokenizer进⾏词法分析，把源程序分解为Token
Parser根据Token创建CST
CST被转换为AST
AST被编译为字节码
执⾏字节码
本⽂将介绍Python程序执⾏的第⼀步，也就是词法分析。词法分析简单来说就是把源程序的字符分解组合成Token。⽐如sum=0可以分解
成3
个token，'sum', '=',
'0'。程序中的whitespace通常只作为分隔符⽤，最终会被忽略掉，因此没有出现在token的列表中。不过在Python之中，由于语法规则的
关系，Tab/Space需要⽤来分析程序的缩进，因此Python中对于Whitespace的处理⽐⼀般C/C++编译器的处理会要稍微复杂⼀些。
在Python中词法分析的实现在Parser⽬录下的tokenizer.h和tokenizer.cpp。Python的其他部分会直接调⽤tokenizer.h中定义的函数，
如下：
extern
struct tok_state *PyTokenizer_FromString(const char
*); extern struct
tok_state *PyTokenizer_FromFile(FILE *, char *, char
*); extern void
PyTokenizer_Free(struct tok_state *); extern int
PyTokenizer_Get(struct tok_state *, char **, char **);
这些函数均以PyTokenizer开头。这是Python源代码中的⼀个约定。虽然Python是⽤C语⾔实现的，其实现⽅式借鉴了很多⾯对对象
的思想。拿词法分析来说，这四个函数均可以看作PyTokenizer的成员函数。头两个函数PyTokenizer_FromXXXX可以看作是构造函
数，返回PyTokenizer的instance。PyTokenizer对象内部状态，也就是成员变量，储存在tok_state之中。
PyTokenizer_Free可以看作是析构函数，负责释放PyTokenizer，也就是tok_state所占⽤的内存。
PyTokenizer_Get则是PyTokenizer的⼀个成员函数，负责取得在字符流中下⼀个Token。这两个函数均需要传⼊
tok_state的指针，和C++中需要隐含传⼊this指针给成员函数的道理是⼀致的。可以看到，OO的思想其实是和语⾔⽆关的，即使是C这样
的结构
化的语⾔，也可以写出⾯对对象的程序。
tok_state
tok_state等价于PyTokenizer这个class本⾝的状态，也就是内部的私有成员的集合。部分定义如下：
struct
tok_state {
char
*buf; char
剩余12页未读，继续阅读
资源评论
