antlr 部分字符串中含有空格的解决方法

在antlr解析AST时我们通常都会把字符串之间的空格，回车，换行等隐藏

如下：

WS     
    : ( '\t' | ' ' | '\r' | '\n' )+   { $channel = HIDDEN; }
    ;

但是，如果我们希望保留解析出来的字符串怎么办呢。就如我们想解析出来一个程序段

foo(){

　　a+b = c;

}

昨天在杨老师的指导下，我成功解析了含有空格的字符串。

具体方法如下:

grammar lexParse;

options {
        output = AST;
        ASTLabelType=CommonTree;
        language = Java;
}

tokens
{MARK;}

starting
    : block+
    ;

block
    : BLOCK blockname BODY
    -> ^(BLOCK blockname ^(MARK BODY));

blockname
    : ID
    ;

ID
    : ('A..Z'|'a'..'z'|'0'..'9'|'_')+
    ;

BLOCK
    : 'BLOCK'
    ;

BODY 
    : BEGIN .* END
    ; 

//此外，token定义里的token或fragment之间如果没有WS，对应的输入文件中也
//不能匹配空格。

WS      
    : ( '\t' | ' ' | '\r' | '\n' )+   { $channel = HIDDEN; }
    ;

fragment
BEGIN
    : 'BEGIN'
    ;

fragment
END
    : 'END'
    ;

".*"代码这段字符串可以包含任意字符。

输入文件：

BLOCK 0000blockname1
BEGIN body END

BLOCK blockname2
BEGIN body aa bb cc dd END

BLOCK blockname3
BEGIN {...
 } END

BLOCK blockname4
BEGIN body END

解析的树如下：

parser tree: (BLOCK 0000blockname1 (MARK BEGIN body END)) (BLOCK
blockname2 (MARK BEGIN body aa bb cc dd END)) (BLOCK blockname3 (MARK
BEGIN {...
} END)) (BLOCK blockname4 (MARK BEGIN body END))
---------------

注：BLOCK后的block_name中字符之间不能包含空格及回车。整个程序段的字符串必须以BEGIN开始，以END结束。