实验二 实现一门语言的词法分析器

### 实验二 实现一门语言的词法分析器 #### 实验目的 通过本次实验，学生将深化对词法分析器的理解，并掌握如何编制词法分析器的基本技能。 #### 实验任务 用C或Java语言编写一门语言的词法分析器。 #### 实验内容 1. **语言确定**：选择C-语言作为分析对象，其定义参考《编译原理及实践》附录A。也可以选择其他语言，但需提供该语言的详细定义，且选定后不能更改，以便后续构建完整的编译器系统。 2. **编写词法分析器**：基于已学习的词法分析器原理，编写选定语言的词法分析器。 #### 实验分析 1. **定义**： - **词法分析器的功能**：接收源程序作为输入，根据语言的构词规则将其分解成一系列单词符号。单词是语言中具有独立意义的最小单位，主要包括关键字、标识符、运算符、界符和常量等。 - **关键字**：由程序语言定义的具有固定意义的标识符，例如Pascal中的`begin`、`end`、`if`、`while`等。 - **标识符**：用于表示变量名、数组名、过程名等。 - **常数**：常见的类型包括整型、实型、布尔型、字符串型等。 - **运算符**：如`+`、`-`、`*`、`/`等。 - **界符**：如逗号、分号、括号等。 - **输出格式**：词法分析器输出单词符号通常表示为二元组 `(单词种别, 单词符号的属性值)`。单词种别通常用整数编码，标识符通常统一编码，常数按类型（整型、实型、布尔型等）分开编码。 - **示例**：例如代码段 `while(i >= j) i--` 经过词法分析后，转换为如下单词符号序列：`(<while, _>, <(, _>, <id, 指向i的符号表项的指针>, <>=, _>, <id, 指向j的符号表项的指针>, <), _>, <id, 指向i的符号表项的指针>, <--, _>, <;, _>)`。 2. **工作原理**： - 词法分析器利用状态转换图来识别单词符号。状态转换图是一种有限状态机，包含一个初始状态和至少一个终态。例如，在识别标识符的过程中，从初始状态0开始，若输入字符是字母，则读入该字符并转移到状态1；在状态1下，若下一个输入字符为字母或数字，则读入该字符并保持在状态1，直至遇到非字母或非数字字符时进入终态2。 3. **待分析的简单语言的词法**： - **关键字**：`begin`、`if`、`then`、`while`、`do`、`end`。 - **运算符和界符**：`= + – * / < <= > >= == ; () #`。 - **标识符和整型常数**： - ID = letter (letter | digit)* - NUM = digit+ - **空格**：由空白、制表符和换行符组成。用于分隔标识符、整型常数、运算符、界符和关键字，词法分析阶段通常会被忽略。 4. **算法分析**： - 输入：所给文法的源程序字符串。 - 输出：由二元组（syn，token或sum）构成的序列，其中syn为单词种别码；token为单词自身字符串；sum为整型常数。 - 算法步骤：首先过滤掉所有空格，然后对每个字符进行扫描，通过字符的ASCII码识别字符的属性并做相应的处理。使用switch-case结构进行处理。 #### 实验结果 在实验过程中，作者遇到了一些挑战，尤其是在处理字符串扫描时的不同组合情况。这些问题在调试阶段消耗了较多的时间，但通过不断尝试和调整，最终成功实现了词法分析器的目标。 #### 实验总结 通过对词法分析器的设计与实现，作者不仅深入理解了词法分析器的工作原理，而且在实践中提高了编程技巧。此外，这一过程还加强了理论知识的学习和实际操作能力的培养，总体而言，收获颇丰。 ### 结论 本实验通过实际编程实现了词法分析器，加深了对词法分析原理的理解，并通过解决实际问题提升了编程能力和解决问题的能力。这对于后续学习编译原理及其他计算机科学领域的知识有着重要的铺垫作用。