[Java]一段尚未雕琢的分词代码

package com.hy;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;

public class Entry {
    public static void main(String[] args) throws IOException{
        // 取得用户输入的表达式
        BufferedReader br = new BufferedReader(new InputStreamReader(System.in)); 
        System.out.print("请输入需要分词的文本:"); 
        String rawExpression = br.readLine(); 
    
        Lexer l=new Lexer(rawExpression);
    }
}

package com.hy;

import java.util.regex.Matcher;
import java.util.regex.Pattern;

// 分词器
public class Lexer {
    public Lexer(String expression) {
        String regex="\s*((//.*)|([0-9]+)|("(\\\\\"|\\\\\\\|\\\\n|[^\"])*")"
                       +"|[A-Z_a-z][A-Z_a-z0-9]*|==|<=|>=|&&|\|\||\p{Punct})?";
        
        Pattern pattern=Pattern.compile(regex);
        Matcher matcher=pattern.matcher(expression);
        matcher.useTransparentBounds(true).useAnchoringBounds(false);
        
        int pos=0;
        int end=expression.length();
        
        while(pos<end) {
            matcher.region(pos, end);
            
            if(matcher.lookingAt()) {
                if(matcher.group(1)!=null) {
                    System.out.print("1."+matcher.group(1));
                    
                    if(matcher.group(2)!=null) {
                        System.out.print(" 2."+matcher.group(2));
                        
                        if(matcher.group(3)!=null) {
                            System.out.print(" 3."+matcher.group(3));
                        }
                    }
                }
                
                System.out.println();
                
                pos=matcher.end();
            }
        }
    }
}

输出：

请输入需要分词的文本:int a=108;// 人数
1.int
1.a
1.=
1.108
1.;
1.// 人数 2.// 人数

请输入需要分词的文本:select a,b,c from tb1 where a='1' order by b desc
1.select
1.a
1.,
1.b
1.,
1.c
1.from
1.tb1
1.where
1.a
1.=
1.'
1.1
1.'
1.order
1.by
1.b
1.desc

请输入需要分词的文本:1+2*(4-3)-5
1.1
1.+
1.2
1.*
1.(
1.4
1.-
1.3
1.)
1.-
1.5

诸位看官莫怪，一时没来得及收拾。