tknz:基于 DFA 的标记器引擎

知乎 基于 DFA 的标记器 基本原理 作为计算理论学生，您通常会学习编写确定性有限状态自动机来表示常规语法和识别常规语言。 然而，当使用生产级词法分析器时，语法的编写方式截然不同：使用某种正则表达式。 tknz通过提供一种专门要求编写确定性有限状态自动机的语言，缩小了这两种方法在常规语法上的差距。 例如，对于实数： 典型的正则表达式： /[1-9][0-9]*( \. [0-9]+)?/ tknz 语法，更接近您作为计算类理论初学者所学的内容： Automaton Number start state first-digit with "123456789" goto next-digits stop state next-digits with "0123456789" goto next-digits with "." goto dot