lexer:玩具词法分析器

词法分析器 谢谢你，马特！ 灵感来自 。 这是一个玩具词法分析器，与 LEX 相比具有相似的语法。 我自己重写了这篇文章，以了解 JavaScript 基础知识以及扫描仪如何更好地工作。 这个词法分析器的核心部分是由 javascript 的 bultin RegExp 。 也许有一天我会尝试在clojurescript构建一个新的，它可以利用宏的力量在编译时构建一个自动机。 应用程序接口 这个 Toy Lexer 公开了三个功能： run ：从起始状态和给定输入启动整个词法分析器。 createState : 创建一个可以进一步定制的状态。 setVerbose : 切换输出是否应该是冗长的（嘈杂）。 例子 /* foo.js */ var lexer = require("./Lexer"); //lexer.setVerbose(true); var INIT = lexe