一、实验目的：
通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。
编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“Error”，然后跳过错误部分继续显示）
二、实验预习提示
1、词法分析器的功能和输出格式
词法分析器的功能是输入源程序，输出单词符号。词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。本实验中，采用的是按类来安排种别码的方式。
2、部分单词的BNF表示（可参考教材43页的状态转换图）
<标识符>-> <字母><字母数字串>
<字母数字串>-><字母><字母数字串>|<数字><字母数字串>|
<下划线><字母数字串>|ε
<无符号整数>-> <数字><数字串>
<数字串>-> <数字><数字串> |ε
<加法运算符>-> +
<减法运算符>-> -
<大于关系运算符>-> >
<大于等于关系运算符>-> >=
3、 做词法分析器需要把对象语言的词法全部描述出来，在这我们取C语言子集，它的词法如下：
（1）关键字
main if else int return void while…….. 所有的关键字都是小写。
（2）专用符号
= + - * / ＜＝ ＞ ＞＝ == ！= ； ： ， { } [ ] （ ）
（3）空格和空白、制表符和换行符。
空格一般用来分隔ID、NUM、专用符号和关键字，在词法分析阶段通常被忽略。
各种单词符号的种别码，这是一种符号一个编码的设计。只供参考！
单词符号 种别码 单词符号 种别码
main 2 [ 28
int 1 ] 29
char 3 { 30
If 4 } 31
else 5 , 32
for 6 : 33
while 7 ; 34
ID 10 > 35
NUM 20 < 36
= 21 >= 37
+ 22 <= 38
- 23 == 39
* 24 != 40
/ 25 ‘\0’ 1000
( 26 ERROR -1
) 27
4、“超前搜索”方法
词法分析时，常常会用到超前搜索方法。如当前待分析字符串为“a>+”,当前字符为’>’，此时，分析器倒底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。于是分析器读入下一个字符’+’，这时可知应将’>’解释为大于运算符。但此时，超前读了一个字符’+’，所以要回退一个字符，词法分析器才能正常运行。在分析标识符，无符号整数等时也有类似情况。
5、模块结构
见附图
三、实验过程和指导：
（一）准备：
1.阅读课本有关章节，明确语言的语法，写出基本保留字、标识符、常数、运算符、分隔符和程序例。
2.编制好程序。
3.准备好多组测试数据。
（二）上机调试：
（三）程序要求：
程序输入/输出示例：
如源程序为C语言。输入如下一段：
main()
{
int a,b;
a = 10;
b = a + 20;
}
要求输出如右图。
（2，“main”）
（5，“（” ）
（5，“ ）” ）
（5，“{ ” ）
（1，“int” ）
（2，“a” ）
（5，“,” ）
（2，“b” ）
（5，“;” ）
（2，“a” ）
（4，“=” ）
（3，“10” ）
（5，“;” ）
（2，“b” ）
（4，“=” ）
（2，“a” ）
（4，“+” ）
（3，“20” ）
（5，“;” ）
（5，“}” ）
说明：
识别保留字：if、int、for、while、do、return、break、continue；
单词种别码为1。
其他的都识别为标识符；单词种别码为2。
常数为无符号整形数；单词种别码为3。
运算符包括：+、-、*、/、=、>、<、>=、<=、!= ；单词种别码为4。
分隔符包括：,、;、{、}、(、)； 单词种别码为5。
以上为参考，具体可自行增删。
程序思路（参考）：
这里以开始定义的C语言子集的源程序作为词法分析程序的输入数据。在词法分析中，自文件头开始扫描源程序字符，一旦发现符合“单词”定义的源程序字符串时，将它翻译成固定长度的单词内部表示，并查填适当的信息表。
经过词法分析后，源程序字符串（源程序的外部表示）被翻译成具有等长信息的单词串（源程序的内部表示），并产生两个表格：常数表和标识符表，它们分别包含了源程序中的所有常数和所有标识符。
0.定义部分：定义常量、变量、数据结构。
1.初始化：从文件将源程序全部输入到字符缓冲区中。
2.取单词前：去掉多余空白。
3.取单词后：去掉多余空白（可选，看着办）。
4.取单词：利用实验一的成果读出单词的每一个字符，组成单词，分析类型。（关键是如何判断取单词结束？取到的单词是什么类型的单词？）
5.显示结果。
为了设计好程序，注意以下事情：
1.模块设计：将程序分成合理的多个模块（函数），每个模块做具体的同一事情。
2.写出（画出）设计方案：模块关系简图、流程图、全局变量、函数接口等。
3.编程时注意编程风格：空行的使用、注释的使用、缩进的使用等。
- 1
- 2
- 3
- 4
- 5
- 6
前往页