词法分析器
主要任务
1．明确词法分析器的功能及原理
2．定义单词符号的种类和编码的规则
3．输入预处理的功能
4．定义词法错误以及错误显示方法
一．词法分析器的原理及功能
逐个读入源程序字符并按照构词规则切分成一系列单词。单词是语言中具有独立意义的
最小单位包括保留字、标识符、运算符、标点符号和常量等。词法分析是编译过程中的一个
阶段，在语法分析前进行 ；也可以和语法分析结合在一起作为一遍，由语法分析程序调用
词法分析程序来获得当前单词供语法分析使用。
二．单词符号种类及编码规则的定义
待分析的简单语言词法：
1） 关键字：
begin void main program int char real for to if then else do while
var end input output
2） 运算符和界符
3） 标识符和数字
各种单词符号对应的种别码
单词符号
种别码
单词符号
种别码
字母
1
*
23
数字
2
/
24
begin
3
(
25
void
4
)
26
main
5
[
27
program
6
]
28
int
7
:=
29
char
8
:
30
real
9
>
31
for
10
>=
32
to
11
<
33
if
12
<=
34
then
13
<>
35
else
14
;
36
do
15
.
37
while
16
=
38
var
17
.
39
end
18
,
40
input
19
\
41
output
20
{
42
