没有合适的资源?快使用搜索试试~ 我知道了~
在日常的编程中,我经常需要标识存在于文本文档中的部件和结构,这些文档包括:日志文件、配置文件、定界的数据以及格式更自由的(但还是半结构化的)报表格式。所有这些文档都拥有它们自己的“小语言”,用于规定什么能够出现在文档内。我编写这些非正式解析任务的程序的方法总是有点象大杂烩,其中包括定制状态机、正则表达式以及上下文驱动的字符串测试。这些程序中的模式大概总是这样:“读一些文本,弄清是否可以用它来做些什么,然后可能再多读一些文本,一直尝试下去。” 解析器将文档中部件和结构的描述提炼成简明、清晰和 说明性的规则,确定由什么组成文档。大多数正式的解析器都使用扩展巴科斯范式(Extended Backus
资源详情
资源评论
资源推荐
Python中用中用Spark模块的使用教程模块的使用教程
在日常的编程中,我经常需要标识存在于文本文档中的部件和结构,这些文档包括:日志文件、配置文件、定界的数据以及
格式更自由的(但还是半结构化的)报表格式。所有这些文档都拥有它们自己的“小语言”,用于规定什么能够出现在文档内。
我编写这些非正式解析任务的程序的方法总是有点象大杂烩,其中包括定制状态机、正则表达式以及上下文驱动的字符串测
试。这些程序中的模式大概总是这样:“读一些文本,弄清是否可以用它来做些什么,然后可能再多读一些文本,一直尝试下
去。”
解析器将文档中部件和结构的描述提炼成简明、清晰和 说明性的规则,确定由什么组成文档。大多数正式的解析器都使用扩
展巴科斯范式(Extended Backus-Naur Form,EBNF)上的变体来描述它们所描述的语言的“语法”。基本上,EBNF 语法对
您可能在文档中找到的 部件赋予名称;另外,较大的部件通常由较小的部件组成。小部件在较大的部件中出现的频率和顺序
由操作符指定。举例来说,清单 1 是 EBNF 语法 typographify.def,我们在 SimpleParse 那篇文章中见到过这个语法(其它工
具运行的方式稍有不同):
清单 1. typographify.def
para := (plain / markup)+
plain := (word / whitespace / punctuation)+
whitespace := [ ]+
alphanums := [a-zA-Z0-9]+
word := alphanums, (wordpunct, alphanums)*, contraction?
wordpunct := [-_] contraction := "'", ('am'/'clock'/'d'/'ll'/'m'/'re'/'s'/'t'/'ve')
markup := emph / strong / module / code / title
emph := '-', plain, '-'
strong := '*', plain, '*'
module := '[', plain, ']'
code := "'", plain, "'"
title := '_', plain, '_'
punctuation := (safepunct / mdash)
mdash := '--'
safepunct := [!@#$%^&()+=|\{}:;<>,.?/"]
Spark 简介简介
Spark 解析器与 EBNF 语法有一些共同之处,但它将解析/处理过程分成了比传统的 EBNF 语法所允许的更小的组件。Spark
的优点在于,它对整个过程中每一步操作的控制都进行了微调,还提供了将定制代码插入到过程中的能力。您如果读过本系列
的 SimpleParse 那篇文章,您就会回想起我们的过程是比较粗略的:1)从语法(并从源文件)生成完整的标记列表,2)使
用标记列表作为定制编程操作的数据。
Spark 与标准的基于 EBNF 的工具相比缺点在于,它比较冗长,而且缺少直接的出现计量符(即表示存在的“+”,表示可能性
的“*”和表示有限制性的“?”)。计量符可以在 Spark 记号赋予器(tokenizer)的正则表达式中使用,并可以用解析表达式语法
中的递归来进行模拟。如果 Spark 允许在语法表达式中使用计量,那就更好了。另一个值得一提的缺点是,Spark 的速度与
SimpleParse 使用的基于 C 的底层 mxTextTools 引擎相比逊色很多。
在“Compiling Little Languages in Python”(请参阅 参考资料)中,Spark 的创始人 John Aycock 将编译器分成了四个阶段。
本文讨论的问题只涉及到前面两个半阶段,这归咎于两方面原因,一是由于文章长度的限制,二是因为我们将只讨论前一篇文
章提出的同样的相对来说比较简单的“文本标记”问题。Spark 还可以进一步用作完整周期的代码编译器/解释器,而不是只用
于我所描述的“解析并处理”的任务。让我们来看看 Aycock 所说的四个阶段(引用时有所删节):
扫描,也称词法分析。将输入流分成一列记号。
解析,也称语法分析。确保记号列表在语法上是有效的。
语义分析。遍历抽象语法树(abstract syntax tree,AST)一次或多次,收集信息并检查输入程序 makes sense。
生成代码。再次遍历 AST,这个阶段可能用 C 或汇编直接解释程序或输出代码。
对每个阶段,Spark 都提供了一个或多个抽象类以执行相应步骤,还提供了一个少见的协议,从而特化这些类。Spark 具体类
并不象大多数继承模式中的类那样仅仅重新定义或添加特定的方法,而是具有两种特性(一般的模式与各阶段和各种父模式都
一样)。首先,具体类所完成的大部分工作都在方法的文档字符串(docstring)中指定。第二个特殊的协议是,描述模式的
方法集将被赋予表明其角色的独特名称。父类反过来包含查找实例的功能以进行操作的内省(introspective)方法。我们在参
看示例的时侯会更清楚地认识到这一点。
识别文本标记识别文本标记
我已经用几种其它的方法解决了这里的问题。我将一种我称之为“智能 ASCII”的格式用于各种目的。这种格式看起来很象为电
子邮件和新闻组通信开发的那些协定。出于各种目的,我将这种格式自动地转换为其它格式,如 HTML、XML 和 LaTeX。我
在这里还要再这样做一次。为了让您直观地理解我的意思,我将在本文中使用下面这个简短的样本:
清单 2. 智能 ASCII 样本文本(p.txt)
复制代码 代码如下:Text with *bold*, and -itals phrase-, and [module]–this
should be a good ‘practice run’.
weixin_38698539
- 粉丝: 7
- 资源: 948
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0