编译器设计中词法分析器实现技术的系统文献综述-研究论文

汇编的词法分析过程中的“词法”一词来源于“词素”一词，它是语言形态学研究的基本概念单位。 在计算机科学中，词法分析，也称为词法分析、扫描或标记化，是将源程序中的字符串转换为标记流的过程，其中标记是具有指定和识别含义的字符串。 它是两步编译处理模型的第一阶段，称为编译器用于理解输入源程序的编译过程的分析阶段。 目标是将字符流转换为单词并识别其标记类型。 然后解析器使用生成的令牌流来确定源程序的语法。 在编译阶段执行词法分析过程的程序称为词法分析器、词法分析器、扫描器或分词器。 词法分析器用于各种计算机科学应用，例如文字处理、信息检索系统、模式识别系统和语言处理系统。 然而，我们的综述研究的范围与语言处理有关。 各种工具用于自动生成令牌，更适合流程的顺序执行。 多核架构系统的最新进展导致需要重新设计编译过程以集成多核架构。 通过多核中令牌识别的并行化，可以优化使用多核，从而减少编译时间。 为了在多核机器上实现标记化的并行性，需要重构编译的词法分析器阶段以适应多核架构，并利用可以并行运行的语言结构和处理器亲和性的概念。 本文对文献进行了系统分析，以讨论与词法分析器实现和改进方法的采用相关的新兴方法和问题。 这是通过审查 30 篇关于词法分析器实现的已发表文章来实现的。 本次审查的结果表明了实现自动生成扫描仪和手工制作扫描仪的各种技术、最新发展和当前方法。 基于这些发现，我们从选定的评论研究中讨论的结果中汲取了词法分析器实现技术的功效，并且该论文提供了未来的研究挑战和需求，以探索以前研究不足的扫描器实现过程领域。