实验安排+词法分析程序设计与实现.doc

实验一 词法分析程序设计与实现

一、实验目的：

加深对词法分析器的工作过程的理解；加强对词法分析方法的掌握；能够采用一种编

程语言实现简单的词法分析程序；能够使用自己编写的分析程序对简单的程序段进行词法

分析。

二、实验内容：

自定义一种程序设计语言，或者选择已有的一种高级语言(C 语言)，编制它的词法分析

程序。词法分析程序的实现可以采用任何一种编程工具。

顺利完成整个源程序的词法分析；

6. 实验报告要求用自动机或者文法的形式对词法定义做出详细说明，说明词法分析程

序的工作过程，说明错误处理的实现*。

四、实验学时：6 学时

五、实验步骤：

1. 定义目标语言的可用符号表和构词规则；

2. 依次读入源程序符号，对源程序进行单词切分和识别，直到源程序结束；

3. 对正确的单词，按照它的种别以<种别码，值>的形式保存在符号表中；

4. *对不正确的单词，做出错误处理*。

六、选作实验

FILE *fin,*fout; //用于指向输入输出文件的指针

2. //下面定义保留，为简化程序，使用字符指针数组保存所有保留字。

//如果想增加保留字，可继续添加，并修改保留字数目

#define keywordSum 8

char *keyword[keywordSum]={ "if","else","for","while","do","int","read","write"};

3. //下面定义纯单分界符，如需要可添加

char singleword[50]="+-*(){};,:";

4. //下面定义双分界符的首字符

char doubleword[10]="><=!";

5. scanf("%s",Scanin);

return(1);//输入文件出错返回错误代码 1

if ((fout=fopen(Scanout,"w"))==NULL) //判断输出文件名是否正确

{

printf("\n 创建词法分析输出文件出错!\n");

return(2); //输出文件出错返回错误代码 2

}

strcmp(token,keyword[n]) //串比较

fprintf(fout,"%s\t%s\n","ID",token); //输出标识符符号到 fout 指定的文件

strchr(singleword,ch) //声明: char *strchr( const char *string, int c );

//在字符串 string 中搜索字符 c，若成功则返回一个指向该字符第一次出现的位置，否则返回 NULL

//这个例子中的变量 x 的值为 5：char string[]="hello"; char *p; int x; p=strchr(string，'o'）; x=p-string+1;

http://vip.6to23.com/tenax/clib/clib.html //c 库函数查找地址

任务 1：识别小型语言所有单词的词法分析程序设计

源程序设计语言 G[<程序>]

<程序>→<变量说明><BEGIN> <语句表> <END>.

<变量说明>→VAR<变量表>:<类型>；|<空>

<变量表>→<变量表>,<变量>|<变量>

<类型>→INTEGER

<语句表>→<语句> | <语句>;<语句表>

<语句>→<赋值语句>|<条件语句>|<WHILE 语句>|<复合语句>

<赋值语句>→<变量>:=<算术表达式>

<关系表达式>→<算术表达式><关系符><算术表达式>

<变量>→<标识符>

<标识符>→<标识符><字母>|<标识符><数字>|<字母>

<泛整数>→<数字>|<数字><泛整数>|ε

<关系符>→<|<=|==|>|>=|<>

词法分析阶段，可以打开任意位置和名称的源文件进行词法分析，可以进行非法字符和数

字后边跟字母的错误判断，如果没有错误则提示“词法分析正确完成！”，并且可以选择输

出 token.txt（token 文件）string.txt（符号表）两个文件；

1．词法分析程序的主要任务如下：

① 组织源程序的输入，识别出源程序中的各个基本语法单位（也称为单词或语法符号），

按规则转换成二元式的形式；

② 删除无用的空白字符、回车符、及其它非实质性符号；

③ 删除注解行；

④ 为后面的语法和语义分析提供二元式链表；

单词 编码 单词 编码

BEGIN 3 > 17

END 4 >= 18

IF 5 <> 19

THEN 6 == 20

ELSE 7 ； 21

DO 9 := 23

INTEGER 10 ， 24

+ 11 ( 25

- 12 ） 26

1) 对标识符的长度控制在 8 个字符（包括 8 个）以内，超过的做截断处理；

2) 数字不大于 65535，否则报错；