AST整理(1).rar_ast资源-CSDN文库

共1个文件

txt：1个

版权申诉

140 浏览量 2022-09-21 00:50:22 上传评论收藏 4KB RAR 举报

**AST（抽象语法树）详解** AST，全称为Abstract Syntax Tree，中文译为抽象语法树，是编程语言语法的一种抽象表示。它以树状结构来表示源代码中的语句和表达式，每个节点都代表一个特定的语法结构。在编译器或解释器处理源代码时，首先会将源代码转化为AST，然后再进行解析、优化和执行。 **1. AST的构成** 在AST中，根节点通常代表整个程序或文件，而子节点则表示程序中的各种结构，如函数定义、变量声明、表达式等。每种类型的语法结构对应树中的一个节点类型。例如，函数调用可能由一个表示函数名的节点、一个表示括号的节点和若干个表示参数的节点组成。 **2. AST的创建** 创建AST的过程称为词法分析和语法分析。词法分析（Lexical Analysis）将源代码分解成一个个符号（token），然后语法分析（Syntax Analysis）根据编程语言的语法规则将这些token组合成一棵树。这个过程可以通过自底向上的LL解析、自顶向下的LR解析、LL(*)、LR(*)等解析技术实现。 **3. 访问与遍历AST** 访问AST通常用于代码分析、代码转换、代码生成等任务。有多种遍历AST的方法，如深度优先遍历（DFS）和广度优先遍历（BFS）。深度优先遍历可以按前序、中序和后序进行；广度优先遍历则按照层序进行。这些遍历策略有助于在AST中找到特定的结构或信息。 **4. AST的应用** - **编译器设计**：编译器通过构建AST来理解源代码的结构，进而生成目标代码。 - **解释器实现**：解释器同样依赖AST来执行代码，它可以逐行解释树中的节点。 - **代码检查**：静态代码分析工具通过AST来检查代码质量，如检测潜在的错误、不符合编码规范的地方。 - **代码重构**：通过修改AST，可以实现自动化的代码重构，比如提取函数、重命名变量等。 - **代码生成**：从AST生成其他语言的代码，实现跨语言互操作，如将Python代码转换为JavaScript。 - **性能优化**：编译器和JIT（Just-In-Time）编译器通过分析AST进行优化，如消除冗余计算、内联函数等。 **5. AST的实例** 例如，在Python中，可以使用`ast`模块来创建和操作AST。以下代码展示了如何将Python源代码转换为AST并打印出来： ```python import ast source_code = "def add(x, y): return x + y" ast_tree = ast.parse(source_code) for node in ast.walk(ast_tree): print(ast.dump(node)) ``` 在这个例子中，`ast.parse()`函数用于将源代码字符串转换为AST，`ast.walk()`则遍历整个AST并打印出所有节点的信息。 AST在理解和处理编程语言的源代码中扮演着核心角色，无论是编译器还是现代软件开发工具，都会利用AST的强大功能来提升效率和质量。通过深入理解AST的原理和应用，我们可以更好地进行代码分析、优化和自动化处理。

资源详情

资源评论

资源推荐

收起资源包目录

AST整理 (1).rar （1个子文件）

AST整理 (1).txt 11KB

Eclipse JDT--ASTParser介绍收藏要解析Java源码，首先要建立ASTParser的实例。此过程最重要的一点是，你要告诉parser需要解析的内容类型。ASTParser支持对以下四种内容的解析： 1. K_COMPILATION_UNIT：一个编译单元，一般就是完整的Java文件 2. K_STATEMENTS： Java statements，比如赋值语句，或是if语句块，while语句块等。此类型不需要文件是完整的编译单元，但需要是完整的statements。比如if语句块要作为一个完整的statement输入，否则会报错。 3. K_EXPRESSION: Java expressions 4. K_CLASS_BODY_DECLARATIONS: Java class里的元素以下的例子以K_COMPILATION_UNIT为例创建ASTParser，也就是解析一个完整的Java文件。 view plaincopy to clipboardprint? // Initialize ASTParser ASTParser parser = ASTParser.newParser(AST.JLS3); //initialize parser.setKind(ASTParser.K_COMPILATION_UNIT); //to parse compilation unit parser.setSource(content.toCharArray()); //content is a string which stores the java source parser.setResolveBindings(true); CompilationUnit result = (CompilationUnit) parser.createAST(null); 其中，变量content是一个字符串，储存了读入的java源文件内容。最后一行，parser.createAST方法返回了一个ASTNode类。ASTNode是语法树各节点的抽象基类，它的子类分别代表各种类型的节点比如CompilationUnit, Statement, Expression, Comment, PackageDeclaration等等。具体参见 http://help.eclipse.org/helios/index.jsp?topic=/org.eclipse.jdt.doc.isv/reference/api/org/eclipse/jdt/core/dom/WhileStatement.html。这里，我们将其转换成CompilationUnit类。其实以上这四种类型是存在层次关系的：一个完整的编译单元包括imported packages, class。Class里又包括field和methods，而method又可以被分成一系列statements。也就是说，一个完整的java文件被分成几个基本部分，每个部分又可以继续往下分。比如说，Statement的子类包括IfStatement, WhileStatement, ExpressionStatement等等。IfStatment类提供getElseStatement, getThenStatment，还有提取if条件等各种方法。像是ExpressionStatement类，支持通过getExpression方法得到源文件对应的Expression，而Expression类则包括如Assignment， MethodInvocation，ArrayCreation种种类型。关于Statement的类层次结构和各类的方法可以参见： http://help.eclipse.org/helios/index.jsp?topic=/org.eclipse.jdt.doc.isv/reference/api/org/eclipse/jdt/core/dom/WhileStatement.html 至此，利用createAST，java的源文件已经被解析成AST并且储存于Compilation的实例result中了。我会在下一篇文章介绍一些使用AST的具体操作。最近做program analysis，需要解析Java的源代码，于是就去看了看Abstract Syntax Tree(AST，中文为抽象语法树)。有点无奈的是，网上关于这方面的资料比我想象中的少，可能是涉及的东西太底层了吧。AST一般属于编译原理方面的内容，也经常用于程序分析等等。简单来说，你写了一坨代码，编译器会把代码转化成一棵抽象语法树用于“理解”。每个树节点代表一个代码元素，也有自己的属性什么的。关于AST的细节一两句话肯定说不清楚，不过好消息是，Eclipse JDT中有现成的ASTParser可以将源代码解析成AST，并且有很全面的节点类型和方法供用户操作。今天就先把网上一些关于Eclipse JDT中AST相关的资料汇总再这里，等我自己摸索的差不多了会及时更新这方面的内容。那啥，转载请注明出处哦~~~ http://blog.csdn.net/flying881114/archive/2011/02/16/6187061.aspx ---入门文档 1. Eclipse Corner Article: Abstract Syntax Tree http://www.eclipse.org/articles/article.php?file=Article-JavaCodeManipulation_AST/index.html （英文，AST的概述，细节代码不多） 2. 探索Eclipse的ASTParser http://www.ibm.com/developerworks/cn/opensource/os-ast/index.html#resources (中文，相对详细的讲解和代码) ---AST使用 1. Eclipse JDT--AST and JavaModel Tutorial http://www.vogella.de/articles/EclipseJDT/article.html (英文，代码很多，但需要有更多的背景知识) 2. Eclipse AST 使用指南 http://wenku.baidu.com/view/a0b8e07931b765ce050814ac.html （pdf文档，更加详细地说明了AST 相关类与方法，可以与eclipse documentation结合使用） 3. Eclipse documentation http://help.eclipse.org/helios/index.jsp 其实，最靠谱的还是直接看eclipse文档。在这里你可以了解你想知道的一切。 4. Yet another AST tutorial http://sahits.ch/blog/?p=228 英文，有大量代码，从易到难讲解（这篇我还没看完~） ---使用AST相关 1. 使用AST出现问题？不知道使用什么jar包？看看这里吧： http://lym6520.javaeye.com/blog/747840 2. 想亲眼看看你源文件的AST是什么样的？为你的Eclipse装一个ASTview插件吧！ http://www.eclipse.org/jdt/ui/astview/index.php （小心！就连Hello World的小程序也有很复杂的AST哦！） Eclipse JDT--ASTParser使用收藏上一篇文章介绍了一些背景知识以及如何创建一个ASTParser，下面给出一些使用AST的例子。创建ASTParser并将Java源文件解析成AST: view plaincopy to clipboardprint? // Initialize ASTParser ASTParser parser = ASTParser.newParser(AST.JLS3); //initialize parser.setKind(ASTParser.K_COMPILATION_UNIT); //to parse compilation unit parser.setSource(content.toCharArray()); //content is a string which stores the java source parser.setResolveBindings(true); CompilationUnit result = (CompilationUnit) parser.createAST(null); 调用imports()方法得到源文件的一系列import声明： view plaincopy to clipboardprint? //show import declarations in order List importList = result.imports(); System.out.println("import:"); for(Object obj : importList) { ImportDeclaration importDec = (ImportDeclaration)obj; System.out.println(importDec.getName()); } 调用types()方法得到类名称： view plaincopy to clipboardprint? //show class name List types = result.types(); TypeDeclaration typeDec = (TypeDeclaration) types.get(0); System.out.println("className:"+typeDec.getName()); 调用TypeDeclaration的getField方法得到类里定义的field： view plaincopy to clipboardprint? //show fields FieldDeclaration fieldDec[]=typeDec.getFields(); System.out.println("Fields:"); for(FieldDeclaration field: fieldDec) { System.out.println("Field fragment:"+field.fragments()); System.out.println("Field type:"+field.getType()); } 调用TypeDeclaration的getMethods方法得到类里定义的list of methods；同理，可以调用MethodDeclaration里的各种方法得到method的方法名，参数，返回类型等等： view plaincopy to clipboardprint? //show methods MethodDeclaration methodDec[] = typeDec.getMethods(); System.out.println("Method:"); for (MethodDeclaration method : methodDec) { //get method name SimpleName methodName=method.getName(); System.out.println("method name:"+methodName); //get method parameters List param=method.parameters(); System.out.println("method parameters:"+param); //get method return type Type returnType=method.getReturnType2(); System.out.println("method return type:"+returnType); 一个方法的内容对应一个block，可以用getBody()得到；一个block又可以被分解成一系列statements，可以用statements()方法得到： view plaincopy to clipboardprint? //get method body Block body=method.getBody(); List statements=body.statements(); //get the statements of the method body Iterator iter=statements.iterator(); while(iter.hasNext()) { //get each statement Statement stmt=(Statement)iter.next(); 接下来需要根据每个statement的类型来对源码进行相应的解析。Statement有很多子类，这里只给出其中的几类介绍（具体可以参考我上一篇文章：ASTParser介绍；最好直接去Eclipse documentation官网查看相关文档）。基本流程就是先判断statement是哪种类型的实例，做出相应的ClassCast，再调用相应的方法。 1. ExpressionStatement （又包括Assignement， MethodInvocation等子类）。 view plaincopy to clipboardprint? if(stmt instanceof ExpressionStatement) { ExpressionStatement expressStmt=(ExpressionStatement) stmt;