在本次名为“第一次实验1”的编译原理程序设计实验中，主要关注的是词法分析器的设计与实现。词法分析是编译器前端的关键步骤，它负责从源代码中识别出有意义的单元，即词法单元（Token），为后续的语法分析和语义分析打下基础。
实验的亮点在于词法分析器具有较高的灵活性和通用性，能够处理C99标准中的多数词法，甚至能自我分析其本身的源代码。词法分析器采用了以下设计：
1. **数据结构设计**：虽然没有明确指出，但根据描述，词法分析器可能使用了某种形式的链表结构来存储Token，每个Token包含tokenId、tokenType和tokenValue，用于标识Token的类型和值。此外，还可能有一个指向下一个Token的指针，以便于链接多个Token。
2. **流程控制**：实验描述了一个基本的词法分析过程，首先从文件中读取源代码，然后通过空格、Tab和回车将源代码划分为独立的单元。接着，根据字符的开头判断其类型，如关键字、标识符、常量、运算符或注释，并将其转化为对应的Token格式。
3. **Token格式设计**：Token采用特定前缀编码，如关键字以1开头，标识符以2开头，常量以3开头，运算符以4开头，注释以5开头，错误标记为-1。这种设计便于快速识别和处理Token。
4. **算法实现**：实验中提到，当遇到字母或下划线时，会开始读取连续的字符组成可能的标识符、常量或关键字。同时，对于可能出现的重复词汇，实验使用数组（如identifier、constant和boundary）来存储，避免重复创建Token，优化了内存使用。
5. **错误处理**：尽管实验报告没有详细说明，但通常词法分析器会包含错误处理机制，例如当遇到无法识别的字符或非法的源代码结构时，会发出错误提示。
实验内容中包含了文件读取、字符过滤、字符串构建和Token分类等关键函数。例如，`ifstream`用于打开和读取文件，`assert`用于检查文件是否成功打开，`while`循环处理源代码流，`if...else`结构用于判断字符类型并构造Token。
在提供的源代码片段中，可以看到使用了`ifstream`类从文件读取字符，`noskipws`禁用了对空白字符的自动跳过，`char ch`和`string str`分别用于临时存储单个字符和正在构建的词法单元。此外，`identifier`、`constant`和`boundary`数组用于存储已识别的词法单元，避免重复。
总的来说，这次实验重点在于实现一个能够处理C99语言的词法分析器，具备识别关键字、标识符、常量、运算符和注释的能力，并通过特定的数据结构和算法确保了词法分析的效率和准确性。实验过程不仅锻炼了编程能力，也加深了对编译原理的理解。
