最近做program analysis,需要解析Java的源代码,于是就去看了看Abstract Syntax Tree(AST,中文为抽象语法树)。有点无奈的是,网上关于这方面的资料比我想象中的少,可能是涉及的东西太底层了吧。AST一般属于编译原理方面的内容,也经常用于程序分析等等。简单来说,你写了一坨代码,编译器会把代码转化成一棵抽象语法树用于“理解”。每个树节点代表一个代码元素,也有自己的属性什么的。关于AST的细节一两句话肯定说不清楚, 不过好消息是,Eclipse JDT中有现成的ASTParser可以将源代码解析成AST,并且有很全面的节点类型和方法供用户操作。
今天就先把网上一些关于Eclipse JDT中AST相关的资料汇总再这里,等我自己摸索的差不多了会及时更新这方面的内容。
那啥,转载请注明出处哦~~~ http://blog.csdn.net/flying881114/archive/2011/02/16/6187061.aspx
---入门文档
1. Eclipse Corner Article: Abstract Syntax Tree
http://www.eclipse.org/articles/article.php?file=Article-JavaCodeManipulation_AST/index.html
(英文,AST的概述,细节代码不多)
2. 探索Eclipse的ASTParser
http://www.ibm.com/developerworks/cn/opensource/os-ast/index.html#resources
(中文,相对详细的讲解和代码)
---AST使用
1. Eclipse JDT--AST and JavaModel Tutorial
http://www.vogella.de/articles/EclipseJDT/article.html
(英文,代码很多,但需要有更多的背景知识)
2. Eclipse AST 使用指南
http://wenku.baidu.com/view/a0b8e07931b765ce050814ac.html
(pdf文档,更加详细地说明了AST 相关类与方法,可以与eclipse documentation结合使用)
3. Eclipse documentation
http://help.eclipse.org/helios/index.jsp
其实,最靠谱的还是直接看eclipse文档。在这里你可以了解你想知道的一切。
4. Yet another AST tutorial
http://sahits.ch/blog/?p=228
英文,有大量代码,从易到难讲解(这篇我还没看完~)
---使用AST相关
1. 使用AST出现问题?不知道使用什么jar包?看看这里吧:
http://lym6520.javaeye.com/blog/747840
2. 想亲眼看看你源文件的AST是什么样的?为你的Eclipse装一个ASTview插件吧!
http://www.eclipse.org/jdt/ui/astview/index.php
(小心!就连Hello World的小程序也有很复杂的AST哦!)
要解析Java源码,首先要建立ASTParser的实例。此过程最重要的一点是,你要告诉parser需要解析的内容类型。ASTParser支持对以下四种内容的解析:
1. K_COMPILATION_UNIT: 一个编译单元,一般就是完整的Java文件
2. K_STATEMENTS: Java statements,比如赋值语句,或是if语句块,while语句块等。此类型不需要文件是完整的编译单元,但需要是完整的statements。比如if语句块要作为一个完整的statement输入,否则会报错。
3. K_EXPRESSION: Java expressions
4. K_CLASS_BODY_DECLARATIONS: Java class里的元素
以下的例子以K_COMPILATION_UNIT为例创建ASTParser,也就是解析一个完整的Java文件。
- // Initialize ASTParser
- ASTParser parser = ASTParser.newParser(AST.JLS3); //initialize
- parser.setKind(ASTParser.K_COMPILATION_UNIT); //to parse compilation unit
- parser.setSource(content.toCharArray()); //content is a string which stores the java source
- parser.setResolveBindings(true);
- CompilationUnit result = (CompilationUnit) parser.createAST(null);
其中,变量content是一个字符串,储存了读入的java源文件内容。最后一行,parser.createAST方法返回了一个ASTNode类。ASTNode是语法树各节点的抽象基类,它的子类分别代表各种类型的节点比如CompilationUnit, Statement, Expression, Comment, PackageDeclaration等等。具体参见
http://help.eclipse.org/helios/index.jsp?topic=/org.eclipse.jdt.doc.isv/reference/api/org/eclipse/jdt/core/dom/WhileStatement.html。
这里,我们将其转换成CompilationUnit类。
其实以上这四种类型是存在层次关系的:一个完整的编译单元包括imported packages, class。Class里又包括field和methods,而method又可以被分成一系列statements。也就是说,一个完整的java文件被分成几个基本部分,每个部分又可以继续往下分。
比如说,Statement的子类包括IfStatement, WhileStatement, ExpressionStatement等等。IfStatment类提供getElseStatement, getThenStatment,还有提取if条件等各种方法。像是ExpressionStatement类,支持通过getExpression方法得到源文件对应的Expression,而Expression类则包括如Assignment, MethodInvocation,ArrayCreation种种类型。
关于Statement的类层次结构和各类的方法可以参见:
http://help.eclipse.org/helios/index.jsp?topic=/org.eclipse.jdt.doc.isv/reference/api/org/eclipse/jdt/core/dom/WhileStatement.html
至此,利用createAST,java的源文件已经被解析成AST并且储存于Compilation的实例result中了。我会在下一篇文章介绍一些使用AST的具体操作。
创建ASTParser并将Java源文件解析成AST:
- // Initialize ASTParser
- ASTParser parser = ASTParser.newParser(AST.JLS3); //initialize
- parser.setKind(ASTParser.K_COMPILATION_UNIT); //to parse compilation unit
- parser.setSource(content.toCharArray()); //content is a string which stores the java source
- parser.setResolveBindings(true);
- CompilationUnit result = (CompilationUnit) parser.createAST(null);
调用imports()方法得到源文件的一系列import声明:
- //show import declarations in order
- List importList = result.imports();
- System.out.println("import:");
- for(Object obj : importList) {
- ImportDeclaration importDec = (ImportDeclaration)obj;
- System.out.println(importDec.getName());
- }
调用types()方法得到类名称:
- //show class name
- List types = result.types();
- TypeDeclaration typeDec = (TypeDeclaration) types.get(0);
- System.out.println("className:"+typeDec.getName());
调用TypeDeclaration的getField方法得到类里定义的field:
- //show fields
- FieldDeclaration fieldDec[]=typeDec.getFields();
- System.out.println("Fields:");
- for(FieldDeclaration field: fieldDec)
- {
- System.out.println("Field fragment:"+field.fragments());
- System.out.println("Field type:"+field.getType());
- }
调用TypeDeclaration的getMethods方法得到类里定义的list of methods;同理,可以调用MethodDeclaration里的各种方法得到method的方法名,参数,返回类型等等:
- //show methods
- MethodDeclaration methodDec[] = typeDec.getMethods();
- System.out.println("Method:");
- for (MethodDeclaration method : methodDec)
- {
- //get method name
- SimpleName methodName=method.getName();
- System.out.println("method name:"+methodName);
- //get method parameters
- List param=method.parameters();
- System.out.println("method parameters:"+param);
- //get method return type
- Type returnType=method.getReturnType2();
- System.out.println("method return type:"+returnType);
一个方法的内容对应一个block,可以用getBody()得到;一个block又可以被分解成一系列statements,可以用statements()方法得到:
- //get method body
- Block body=method.getBody();
- List statements=body.statements(); //get the statements of the method body
- Iterator iter=statements.iterator();
- while(iter.hasNext())
- {
- //get each statement
- Statement stmt=(Statement)iter.next();
接下来需要根据每个statement的类型来对源码进行相应的解析。Statement有很多子类,这里只给出其中的几类介绍(具体可以参考我上一篇文章:ASTParser介绍;最好直接去Eclipse documentation官网查看相关文档)。基本流程就是先判断statement是哪种类型的实例,做出相应的ClassCast,再调用相应的方法。
1. ExpressionStatement (又包括Assignement, MethodInvocation等子类)。
- if(stmt instanceof ExpressionStatement)
- {
- ExpressionStatement expressStmt=(ExpressionStatement) stmt;
- Expression express=expressStmt.getExpression();
- if(express instanceof Assignment)
- {
- Assignment assign=(Assignment)express;
- System.out.println("LHS:"+assign.getLeftHandSide()+"; ");
- System.out.println("Op:"+assign.getOperator()+"; ");
- System.out.println("RHS:"+assign.getRightHandSide());
- }
- else if(express instanceof MethodInvocation)
- {
- MethodInvocation mi=(MethodInvocation) express;
- System.out.println("invocation name:"+mi.getName());
- System.out.println("invocation exp:"+mi.getExpression());
- System.out.println("invocation arg:"+mi.arguments());
- }
- System.out.println();
- }
2. IfStatement
- else if(stmt instanceof IfStatement)
- {
- IfStatement ifstmt=(IfStatement) stmt;
- InfixExpression wex=(InfixExpression) ifstmt.getExpression();
- System.out.println("if-LHS:"+wex.getLeftOperand()+"; ");
- System.out.println("if-op:"+wex.getOperator()+"; ");
- System.out.println("if-RHS:"+wex.getRightOperand());
- System.out.println();
- }
3. VariableDeclarationStatement
- else if(stmt instanceof VariableDeclarationStatement)
- {
- VariableDeclarationStatement var=(VariableDeclarationStatement) stmt;
- System.out.println("Type of variable:"+var.getType());
- System.out.println("Name of variable:"+var.fragments());
- System.out.println();
- }
4. ReturnStatement
- else if(stmt instanceof ReturnStatement)
- {
- ReturnStatement rtstmt=(ReturnStatement) stmt;
- System.out.println("return:"+rtstmt.getExpression());
- System.out.println();
- }
ASTParser 作为programming language编译器的一部分,功能机制可以说是相当强大。以上的例子只是冰山一角。使用ASTParser可以对java的源文件进行各种解析,用户只需要指明源文件,调用一下ASTParser的createAST方法就能得到完整的AST了,剩下的就是用户根据实际需要对AST进行各种manipulate了。
Eclipse documentation详细记录了AST相关的各类描述,继承关系等等。另外,如果对AST机制或者在Eclipse里使用ASTParser有什么疑问的话,可以参考我的另一篇文章:Eclipse JDT--AST入门,里面整理了很多相关资料。
估计接下来一段时间就是继续研究AST了,还请各位高手多多指教~~~