《编译原理 词法分析器》
词法分析是编译过程的第一步，其主要目标是对源程序进行预处理，将源代码中的字符流分解成一个个有意义的词汇单元，即单词符号，这些单词符号是程序设计语言的基本语法元素。词法分析器，也称为扫描器，其工作原理和设计方法是编译原理中的重要组成部分。
在武汉理工大学计算机科学系陈天煌的讲解中，词法分析程序需满足以下要求：
1. **功能与输出形式**：词法分析器的功能是读取源程序，识别出单词符号。输出通常是以二元式的形式表示，包括单词的种类（编码）和对应的属性值。单词分为五类：关键字、标识符、常数、运算符和界限符。其中，关键字如“while”有固定含义；标识符如“i”、“j”代表变量；常数如整数、实数等；运算符如“+”、“-”；界限符如逗号、分号等。
2. **单词符号的属性**：属性值反映了单词的特性，例如，标识符的属性值可能是其在符号表中的指针，常数的属性值可能是其在常数表中的指针。对于关键字、运算符和界限符，通常只需输出其种类编码，无需提供额外的属性值。
3. **设计原则**：词法分析器的设计需要考虑效率和可移植性。为了简化设计，词法分析通常独立于语法分析。通过使用正规表达式和有穷自动机，可以实现词法分析程序的自动化构造。
4. **正规表达式与正规集**：正规表达式是一种描述单词模式的数学工具，用于定义语言中的单词。正规集，又称正规语言，是正规表达式所能表示的所有单词的集合。正规表达式与有穷自动机之间存在等价性，这意味着可以互相转换，从而为设计词法分析器提供了理论基础。
5. **有穷自动机**：有穷自动机是一种状态机，它可以识别由正规表达式描述的语言。在词法分析中，有穷自动机用于识别和分类输入的字符序列，形成单词符号。
6. **词法分析与语法分析的关系**：词法分析先于语法分析执行，生成的单词符号流供语法分析使用。词法分析器可以作为独立的程序，也可以集成到语法分析器中，根据具体编译器的设计选择。
词法分析器在编译过程中起着至关重要的作用，它通过正规表达式和有穷自动机将源代码的字符流转化为可被后续语法分析处理的单词符号流。理解词法分析的原理和方法对于编译器设计者来说至关重要，因为它直接影响到编译器的性能和正确性。
